💡 전통적 머신러닝 vs 딥러닝의 결정적 차이: 표현 학습(Representation Learning)
• 전통적 머신러닝(Classical ML) : 인간 전문가가 직접 이미지의 윤곽선, 색상 히스토그램, 텍스트 형태소 등 데이터의 유효한 특징(Hand-crafted Feature)을 수작업으로 추출하여 알고리즘에 입력해야 했습니다.
• 딥러닝(Deep Learning) : 원시 데이터(Raw Data: 픽셀 값, 음파 주파수, 텍스트 토큰)를 그대로 신경망에 주입하면, 신경망의 깊은 층들이 저수준 특징(선·점)부터 고수준 특징(눈·코·입, 얼굴 전체)까지의 계층적 표현을 엔드투엔드(End-to-End)로 자동 학습합니다.
⚙️ 딥러닝의 5단계 수학적·알고리즘적 작동 원리
STEP 01
순전파 (Forward)
입력 데이터가 각 층의 가중치 행렬 $W$와 편향 $b$를 거쳐 비선형 활성화 함수(ReLU, GELU 등)를 통과하며 최종 예측값을 출력합니다.
STEP 02
손실 계산 (Loss)
모델의 출력값과 실제 정답(레이블) 간의 오차를 교차 엔트로피(Cross-Entropy)나 평균제곱오차(MSE) 등의 손실 함수로 정량화합니다.
STEP 03
역전파 (Backprop)
수학의 미분 연쇄 법칙(Chain Rule)을 적용하여 출력층의 오차를 거꾸로 전파하며 각 층 가중치에 대한 손실 함수의 기울기(Gradient)를 계산합니다.
STEP 04
경사하강 최적화
Adam, SGD 등의 최적화 알고리즘이 손실 함수의 기울기 반대 방향으로 모델의 수억~수천억 개 파라미터를 점진적으로 갱신합니다.
STEP 05
일반화 추론
드롭아웃(Dropout), 정규화(BatchNorm) 기법을 통해 과적합을 방지하고 한 번도 본 적 없는 새로운 데이터에 대해 높은 정확도로 추론합니다.
딥러닝은 1950년대의 퍼셉트론과 1980년대의 다층 퍼셉트론 연구를 거쳐, 2018년 컴퓨터 과학의 노벨상이라 불리는 튜링상(ACM A.M. Turing Award)을 공동 수상한 "딥러닝 3대 대부(Godfathers of AI)" 에 의해 오늘날의 인공지능 르네상스를 꽃피웠습니다:
1986년 다층 신경망을 학습시키는 역전파(Backpropagation) 알고리즘을 대중화하였으며, 2006년 심층 신뢰망(DBN)을 통해 기울기 소실 문제를 극복하고 '딥러닝'의 부활을 알렸습니다. 2012년 이미지넷 대회에서 AlexNet으로 압도적 우승을 거두며 현대 딥러닝 혁명을 촉발하였고, 인공신경망의 물리적 기초 연구 공로로 2024년 노벨 물리학상을 수상했습니다.
2003년 단어를 고차원 연속 벡터 공간에 투영하는 '신경망 기반 언어 모델(NNLM)'을 창안하여 단어 임베딩의 시초를 열었으며, 현대 언어 모델의 핵심인 시퀀스-투-시퀀스 어텐션(Attention) 메커니즘을 발전시켜 대규모 자연어처리와 생성형 AI 발전에 결정적인 기여를 하였습니다.
이 외에도 1943년 워런 맥컬록과 월터 피츠의 최초 인공뉴런, 1958년 프랭크 로젠블랫의 퍼셉트론, 1980년 후쿠시마 구니히코의 네오코그니트론 등이 딥러닝 발전의 든든한 초석이 되었습니다.
최근 인공지능 혁명의 정점에 있는 대규모 언어 모델 (LLM: Large Language Models - GPT-4, Claude, Gemini, Llama 등) 은 딥러닝의 스케일링 법칙(Scaling Law)과 심층 신경망 아키텍처가 빚어낸 궁극의 결실입니다:
아키텍처 혁신
1. 트랜스포머(Transformer)와 셀프 어텐션
2017년 구글의 논문 《Attention Is All You Need》에서 발표된 트랜스포머는 기존 순환신경망(RNN)의 순차적 계산 병목을 깨뜨렸습니다. 문장 내 모든 단어가 서로에게 미치는 영향력(Query, Key, Value)을 행렬 병렬 연산으로 한 번에 계산하는 셀프 어텐션(Self-Attention) 메커니즘을 통해 장거리 문맥(Long-context)을 완벽히 포착합니다.
지식 축적 단계
2. 초대규모 자기지도 사전학습(Pre-training)
사람이 라벨을 붙이지 않은 수조 개 토큰의 웹 텍스트, 백과사전, 코드 데이터에서 "다음 단어 예측(Next-token Prediction)"이라는 간단한 딥러닝 목적 함수만으로 학습합니다. 수천억 개의 파라미터가 최적화되면서 문법뿐만 아니라 수학, 논리, 코딩, 세계 지식에 대한 심층적 추론 능력이 발현(Emergent Abilities)됩니다.
인간 정렬 단계
3. 인간 피드백 기반 강화학습(RLHF & DPO)
사전학습된 신경망이 인간의 의도에 맞게 유용(Helpful), 정직(Honest), 무해(Harmless)하게 대답하도록 조정하는 정렬(Alignment) 기술입니다. 인간 평가자의 선호도 데이터를 보상 모델(Reward Model)로 학습시킨 후, 강화 학습 알고리즘(PPO)이나 직접 선호 최적화(DPO)로 모델을 미세조정(Fine-tuning)합니다.
차세대 에이전트
4. 생각의 사슬(CoT) 추론과 AI 에이전트
최신 추론 특화 딥러닝 모델(예: OpenAI o1)은 정답을 즉시 내놓지 않고 내부적인 '생각의 사슬(Chain-of-Thought)'을 전개하며 스스로 오류를 수정합니다. 나아가 검색 증강 생성(RAG), 파이썬 코드 실행기, 웹 브라우저 등 외부 도구를 스스로 호출하며 자율적으로 과업을 해결하는 지능형 에이전트(Agentic AI)로 진화하고 있습니다.
