[NLP 프로젝트 1편] 한국어 뉴스 분류기 — BERT fine-tuning 처음부터 끝까지
뉴스 제목 하나로 카테고리를 맞히는 분류기를 만들어봤습니다. TF-IDF 베이스라인부터 BERT fine-tuning까지, Tokenizer가 텍스트를 어떻게 쪼개는지, [CLS] 토큰이 왜 분류에 쓰이는지, Fine-tuning과 Feature Extraction의 차이까지 KLUE-YNAT 데이터셋으로 직접 확인해봤습니다.
레오파드게코 브리딩에 데이터 분석과 AI 기술을 접목합니다. Python, NumPy를 활용한 체중 관리, 성장 추이 분석, 환경 데이터 시각화 등 실무에서 직접 사용하는 기술을 일반인도 이해하기 쉽게 설명합니다.
흑섬 TECH 블로그의 Play 카테고리입니다.
총 7개의 글이 있습니다.
7 posts
뉴스 제목 하나로 카테고리를 맞히는 분류기를 만들어봤습니다. TF-IDF 베이스라인부터 BERT fine-tuning까지, Tokenizer가 텍스트를 어떻게 쪼개는지, [CLS] 토큰이 왜 분류에 쓰이는지, Fine-tuning과 Feature Extraction의 차이까지 KLUE-YNAT 데이터셋으로 직접 확인해봤습니다.
2026년 3월, LangChain이 클로드 코드의 오픈소스 복제품 Deep Agents를 공개했습니다. 커뮤니티에서 '클로드 코드 복제품'이라는 말이 돌 정도로 반응이 뜨거웠고 GitHub 스타 12K를 넘겼습니다. 계획 도구, 파일시스템, 셸 실행, 서브에이전트까지 — 클로드 코드가 하는 걸 전부 오픈소스로 구현했습니다. MIT 라이선스에 어떤 LLM이든 연결 가능합니다. 직접 설치하고 로컬 LLM까지 연결해봤습니다.
![[소셜 미디어 트렌드 4편] LDA 토픽 모델링 + Streamlit 대시보드로 시리즈 완결](/_next/image?url=%2Fblog%2Fsns-trend-4-dashboard%2FGemini_Generated_Image_z0mc4z0mc4z0mc4z.png&w=1920&q=75)
수집한 523건 댓글에 LDA 토픽 모델링을 적용해 5개 주제를 자동 분류하고, Streamlit으로 인터랙티브 대시보드를 만듭니다. 감성 분석 + 토픽 분석 + 시각화를 하나로 합친 시리즈 최종편입니다.
![[소셜 미디어 트렌드 3편] YouTube API로 댓글 523건 수집하고 감성 분석까지](/_next/image?url=%2Fblog%2Fsns-trend-3-youtube-api%2FGemini_Generated_Image_6k8rux6k8rux6k8r.png&w=1920&q=75)
Google Cloud Console에서 API 키를 발급받고, YouTube Data API v3으로 댓글을 수집합니다. 키워드 검색 → 영상 10개 → 댓글 523건 수집 → 1편 감성 분석 모델 적용까지, 실제 데이터 파이프라인을 만드는 과정입니다.
1편에서 전처리한 NSMC 데이터를 다시 꺼냅니다. 문장 길이 분포, 긍정/부정 워드클라우드, 단어 빈도 Top-20, 길이별 감성 비율까지 — 모델에 넣기 전에 텍스트 데이터를 눈으로 확인하는 과정입니다.
YouTube 댓글을 분석하려면 먼저 감성 분석 모델이 필요합니다. 네이버 영화 리뷰(NSMC) 20만 건으로 한글 텍스트를 전처리하고, TF-IDF로 숫자로 바꾸고, Logistic Regression과 Naive Bayes를 비교해서 83% 정확도의 감성 분류기를 만듭니다.
AI시대에 코딩과 코딩테스트가 웬말이냐는 생각도 있겠지만, 문제를 풀어보면서 접근 방식을 이해하면 AI에게 일을 더 잘 시킬 수 있을 거라고 생각합니다 ㅎㅎ 해시·그리디·분할정복·DP 빈출 유형 4가지를 같이 풀어봅니다.