정답(교사 신호) 기반의 최적 함수 근사 : 분류와 회귀, 자율학습과의 심층 비교, 그리고 최신 초거대 언어 모델(LLM)의 SFT·RLHF 정렬 활용 총정리
지도학습(Supervised Learning)은 입력 대상 $x$와 그에 대응하는 정답 레이블(목표 출력, Target / Teacher Signal) $y$의 쌍으로 구성된 훈련 데이터셋 $\mathcal{D} = \{(x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\}$이 주어졌을 때, 입력과 출력 사이의 숨겨진 관계를 나타내는 함수 $f: X \to Y$를 학습(근사)하는 머신러닝의 가장 핵심적인 패러다임입니다.
출력값 $y$가 불연속적인 이산 범주(Discrete Class / Category)인 문제입니다.
• 이진 분류 (Binary) : 스팸 메일 여부(정상/스팸), 환자의 암 판정(양성/음성).
• 다중 분류 (Multi-class) : 필기체 숫자 인식($0 \sim 9$), 사진 속 동물 종류(개, 고양이, 새 등) 식별.
출력값 $y$가 연속적인 실수값(Continuous Real Value)인 문제입니다.
• 주택 가격 예측 (평수, 위치, 연식에 따른 매매가 추정).
• 내일의 기온 예측, 자율주행 차량의 핸들 조향각 계산, 주식 변동률 예측 등.
우편번호 필기체 인식, 스마트폰 얼굴 잠금 해제(Face ID), 자율주행차의 보행자 및 표지판 인식(YOLO, CNN).
안저 촬영 영상 기반 당뇨망막병증 판독, 피부 병변 이미지를 통한 악성 흑색종 분류(JAMA/Nature 논문 입증).
신용카드 이상 거래 실시간 탐지(FDS), 스팸 메일 및 악성 피싱 URL 필터링, 고객 신용도 평가.
ChatGPT, GPT-4, Claude, Gemini와 같은 최신 거대 언어 모델(LLM)은 방대한 인터넷 텍스트를 이용해 다음 단어를 예측하는 '자기지도학습(Self-supervised Pre-training)'으로 언어적 지식을 습득합니다. 그러나 원시 언어 모델(Raw Base Model)을 인간의 지시를 충실히 따르고 안전하게 답변하는 유용한 '인공지능 비서(Assistant)'로 탈바꿈시키는 핵심 과정은 전적으로 고도의 지도학습(Supervised Learning) 기술에 의존합니다:
• 인간 전문가가 정성껏 작성한 수만~수십만 개의 지시문-모범 답변 쌍 $(Prompt, Response)$을 입력 데이터와 정답 레이블로 사용하여 모델을 추가 지도학습시킵니다.
• 단순한 텍스트 완성기가 아닌, "요약해 줘", "코드를 짜 줘", "번역해 줘"와 같은 인간의 명령(Instruction) 의도를 파악하고 정형화된 대화체 포맷으로 답변하도록 훈련합니다 (InstructGPT, LLaMA-Instruct).
• 인간 피드백 기반 강화학습(RLHF)을 수행하기 위한 전제 조건으로 '보상 모델(Reward Model)'을 지도학습으로 훈련합니다.
• 하나의 프롬프트에 대해 모델이 생성한 두 답변 중 인간이 선호하는 답변($y_w$, Winner)과 불만족스러운 답변($y_l$, Loser)의 쌍 데이터를 구성하고, 이진 교차 엔트로피(Binary Cross-Entropy) 손실을 통해 인간의 선호도를 채점하는 보상 모델을 지도학습합니다.
• 최근 널리 쓰이는 DPO 기법은 불안정한 강화학습(PPO) 루프를 건너뛰고, 선호 데이터 쌍을 바탕으로 수학적으로 유도된 닫힌 형태의 목적 함수를 통해 순수 지도학습 방식으로 언어 모델을 직접 인간의 선호에 정렬(Alignment)시킵니다.
• 강화학습 대비 학습 안정성이 매우 높고 계산 비용이 획기적으로 절감됩니다.
• OpenAI o1과 같은 최신 심층 추론 모델은 수학 증명, 알고리즘 구현 등에서 문제와 최종 답안뿐만 아니라, **단계별 사고의 연쇄(Chain-of-Thought : CoT)** 풀이 과정을 정답 레이블로 부여받아 지도학습(Supervised Distillation)됩니다.
• 모델이 정답에 도달하기까지의 자기 검증(Self-Correction) 과정을 명시적인 정답 경로로 지도받음으로써 초인적인 추론 성능을 발휘합니다.
신경망 (Neural Network) 에서 학습기가 분류 (classification) 하려는 대상이 자갈과 모래라는 것을 미리 알고서 훈련예 (training example) 로서 학습시켜 어떤 대상이 자갈에 속하는지 모래에 속하는지를 분류하는 것이 지도학습 (supervised learning) 입니다. 반면에 분류하려는 대상에 대한 어떤 정보도 주어지지 않고 학습기로 하여금 그것이 자갈인지 또는 모래인지 또는 그 밖의 어떤 것인지를 스스로 묶어내도록 하는 것이 자율학습 (unsupervised learning) 입니다 (패턴인식에서의 분류는 학습 과 같은 의미입니다) ....................... (홍대식 교수 1998)
| 비교 항목 | 지도학습 (Supervised Learning) | 자율학습 (비지도학습 : Unsupervised Learning) |
|---|---|---|
| 훈련 데이터 형태 | 입력 데이터 + 정답 레이블 쌍 : $(x_i, y_i)$ (교사 신호가 반드시 존재) |
오직 입력 데이터만 존재 : $\{x_i\}$ (정답 레이블 없음) |
| 학습의 주된 목표 | 입력에서 목표 정답으로의 최적 매핑 함수 $f(x)$ 근사 및 미래 예측 | 데이터 내재적 분포, 밀도, 숨겨진 패턴 및 군집(Cluster) 구조 발견 |
| 주요 수행 과제 | 분류(Classification), 회귀(Regression) | 군집화(Clustering), 차원 축소(Dimensionality Reduction), 밀도 추정 |
| 대표적 신경망 모델 | 다층 퍼셉트론(MLP), 역전파(Backpropagation), CNN, RNN/LSTM, ResNet | 자기조직화 맵(SOM), 홉필드 네트워크, 오토인코더(Autoencoder), VAE, GAN |
| 전통적 통계 알고리즘 | 서포트 벡터 머신(SVM), 의사결정 트리, 로지스틱 회귀, 랜덤 포레스트 | K-평균 군집화(K-Means), 주성분 분석(PCA), DBSCAN, 가우시안 혼합 모델(GMM) |
| 성능 평가 방식 | 명확함 : 정확도(Accuracy), F1-Score, 재현율, 평균제곱오차(MSE) 등 | 상대적·정성적 : 실루엣 계수(Silhouette), 재구성 오차(Reconstruction Error) |
| 데이터 구축 비용 | 인간 전문가의 라벨링 작업(Annotation)이 필수적이므로 막대한 비용 소요 | 인터넷이나 센서의 원시 데이터(Raw Data)를 가공 없이 대량 활용 가능 |
지도학습 (supervised learning) 은 훈련 데이터로부터 함수를 만들어내는 기계학습 (Machine Learning) 기술입니다. 지도학습기 (supervised learner) 의 일은 단지 소수의 훈련예 들만을 보고서 유효한 입력 대상을 위한 함수의 값을 예측하는 것이며, 이를 위해 현재의 데이터로부터 보이지 않는 상황까지 이성적인 방법으로 일반화(Generalization)해야 합니다. 지도학습의 주어진 문제(예를 들면 필기체 문자 인식)를 해결하기 위해서는 다음의 5가지 단계를 고려하여야 합니다:
• 역전파 (Back-propagation) : 다층 신경망의 가중치 최적화 핵심 알고리즘
• 다층 퍼셉트론 (Multilayer Perceptron) : 비선형 분류기
• 합성곱 신경망 (CNN) : 영상 패턴 지도학습
• Support Vector Machine (SVM) : 최대 마진 초평면 분류기
• 의사결정 트리 (Decision Tree) : 규칙 기반 분기 모델
• 나이브 베이즈 분류 (Naive Bayesian Classification) : 확률적 조건부 독립 모델
• 베이즈 추론 (Bayesian Inference) : 사후 확률 갱신 추론
• 사례기반 추론 (Case-Based Reasoning : CBR) : 과거 유사 사례 재활용
• 계산학습이론 (Computational Learning Theory : PAC)
• 버전 공간 (Version Space) : 가설 공간 축소 학습
머신러닝의 세가지 타입 : DevMento : 김승일 모두의연구소 소장 (2016/09/28)