흑섬 TECH 블로그 - 데이터 기반 브리딩 기술

[NLP 프로젝트 1편] 한국어 뉴스 분류기 — BERT fine-tuning 처음부터 끝까지

뉴스 제목 하나로 카테고리를 맞히는 분류기를 만들어봤습니다. TF-IDF 베이스라인부터 BERT fine-tuning까지, Tokenizer가 텍스트를 어떻게 쪼개는지, [CLS] 토큰이 왜 분류에 쓰이는지, Fine-tuning과 Feature Extraction의 차이까지 KLUE-YNAT 데이터셋으로 직접 확인해봤습니다.

[딥러닝 분석 5편] DiT — 이미지를 생성하는 Transformer

4편에서 LLM이 이미지를 '인식'하는 방법을 봤습니다. 5편은 반대 방향입니다. 노이즈에서 이미지를 만들어내는 Diffusion의 원리, U-Net을 Transformer로 교체한 DiT, VAE 잠재 공간, adaLN Timestep 주입, 텍스트 Cross-Attention, 그리고 FLUX.1과 Sora까지 정리했습니다.

[딥러닝 분석 4편] VLM — LLM이 이미지를 인식하는 방법

LLM이 텍스트 밖으로 나가는 이야기입니다. 스마트폰 카메라로 음식을 찍으면 칼로리를 알려주고, PDF 스캔 이미지에서 텍스트를 뽑아내는 게 어떻게 가능한 걸까요? 이미지 패치 토크나이징, ViT 구조, MLP Projector, 통합 시퀀스 처리까지 VLM 아키텍처 전체를 정리했습니다.

[딥러닝 분석 3편] MLP — LLM이 지식을 저장하는 곳

GPT가 '파리는 프랑스의 수도'라는 사실을 어디에 저장할까요? Transformer 블록의 FFN(Feed-Forward Network)이 그 역할을 담당합니다. 활성화 함수 비교, 512→2048→512 차원 변화, 지식 저장 방식까지 FFN 구조를 정리해봤습니다.

[딥러닝 분석 2편] 어텐션 — LLM이 문장을 읽는 방법

Query는 질문, Key는 색인, Value는 내용. 모델이 어디를 볼지 스스로 결정하는 Attention 메커니즘을 다뤄봤습니다. Q/K/V 행렬 연산부터 소프트맥스 어텐션 가중치, Multi-Head의 각 헤드가 보는 것까지 시각화로 정리했습니다.

[딥러닝 분석 1편] 트랜스포머 — LLM이 작동하는 방식

RNN은 단어를 하나씩 순서대로 읽었습니다. Transformer는 전체 문장을 한 번에 봅니다. 이 구조적 차이가 GPT, BERT 같은 현대 LLM의 기반이 됐습니다. Transformer가 왜 RNN보다 빠른지, 내부 구조를 정리해봤습니다.