코호넨의 혁신적 지도학습 프로토타입 신경망 : 클래스 결정 경계면의 정교한 최적화, 해석 가능한 패턴 분류 및 일반 VQ와의 심층 비교
학습 벡터 양자화(Learning Vector Quantization, LVQ)는 핀란드의 세계적인 신경망 석학 Teuvo Kohonen(테우보 코호넨) 교수가 1986년에 고안한 대표적인 프로토타입 기반 지도학습(Supervised Prototype-based Classification) 신경망입니다.
코호넨의 자기조직화지도(SOM) 및 비지도 벡터 양자화(VQ)에서 사용되던 '승자독식(Winner-Take-All)' 경쟁 학습 메커니즘에 지도학습(Supervised Learning)의 레이블 정보를 결합하여 분류 성능을 극대화한 알고리즘입니다.
모든 훈련 데이터를 메모리에 보관해야 하는 k-최근접 이웃(k-NN)의 엄청난 메모리 요구량과 느린 탐색 속도를 극복하여, 각 클래스를 대표하는 소수의 '코드북 벡터(Codebook Vector / Prototype)'만으로 초고속 1-NN 분류를 수행합니다.
데이터의 단순한 통계적 평균을 구하는 데 그치지 않고, 서로 다른 클래스가 만나는 결정 경계면(Decision Boundary) 부근에 참조 벡터들을 배치하여 베이즈 최소 오류 경계에 근접하도록 적응적으로 이동시킵니다.
다층 퍼셉트론(MLP)이나 딥러닝 심층 신경망은 가중치들이 복잡하게 얽힌 '블랙박스(Black-box)' 모델인 반면, LVQ는 각 클래스의 전형적인 형태를 나타내는 코드북 벡터가 입력 공간에 직접적인 좌표 형태로 존재하므로 설명 가능한 AI(Explainable AI / XAI)로서 매우 강력한 해석 가능성을 제공합니다.
코호넨 교수가 초기 핀란드어 음소(Phoneme) 인식 시스템에 LVQ를 적용하여 기존 통계적 방법보다 월등히 높은 정확도를 달성하며 전 세계적인 주목을 받았습니다. 오늘날에도 음성 특징 벡터(MFCC) 분류 및 화자 인증 시스템에 널리 사용됩니다.
심전도(ECG) 부정맥 검출, 뇌파(EEG) 발작 패턴 감지 등에서 프로토타입 기반의 직관적인 진단 근거를 의사에게 제시할 수 있는 신뢰성 높은 생체 신호 분류기로 활용됩니다.
무선 통신 성좌도(Constellation)의 왜곡된 수신 신호를 정확한 심볼로 복조하는 적응형 등화기, 발전소 터빈이나 항공기 회전축의 진동 데이터를 분석하여 이상 상태를 실시간 감지하는 고장 진단 시스템에 응용됩니다.
딥러닝 임베딩 공간에서 프로토타입을 형성하여 소량의 데이터로 분류하는 퓨샷 학습(Few-Shot Learning) 모델인 프로토타피컬 네트워크(Prototypical Networks)의 원형이자, 일반화 LVQ(GLVQ), 행렬 메트릭 학습(GMLVQ) 등으로 현대화되어 활발히 발전하고 있습니다.
많은 초심자들이 일반 벡터 양자화(VQ)와 학습 벡터 양자화(LVQ)의 명칭이 유사하여 혼동하곤 합니다. 그러나 두 모델은 학습 패러다임, 목적 함수, 코드북 벡터의 배치 전략에서 근본적인 차이를 갖습니다:
| 비교 항목 | 일반 벡터 양자화 (VQ / Vector Quantization) | 학습 벡터 양자화 (LVQ / Learning Vector Quantization) |
|---|---|---|
| 학습 유형 | 비지도 학습 (Unsupervised Learning) | 지도 학습 (Supervised Learning) |
| 클래스 레이블 | 레이블을 사용하지 않음 (오직 입력 좌표만 사용) | 훈련 데이터와 코드북 벡터 모두에 클래스 레이블이 부여됨 |
| 핵심 목적 | 데이터 압축, 밀도 추정 및 클러스터링 (양자화 오차 최소화) |
패턴 분류 및 결정 경계면 최적화 (분류 오분류율 최소화) |
| 코드북 벡터의 위치 | 각 클러스터의 중심부(데이터 밀도가 높은 곳)에 배치 | 서로 다른 클래스 간의 경계면(Decision Boundary) 주변에 정교하게 배치 |
| 가중치 갱신 규칙 | 승자 벡터를 무조건 입력 $x$ 방향으로 당김 $w_c \leftarrow w_c + \alpha(x - w_c)$ |
클래스가 일치하면 당기고(Attract), 불일치하면 반대로 밀어냄(Repel) |
| 대표 알고리즘 | K-평균 군집화(K-Means), LBG 알고리즘 | LVQ1, LVQ2.1, LVQ3, GLVQ |
| 주요 응용 분야 | 오디오/비디오 손실 압축, 코드북 생성, 색상 팔레트 양자화 | 패턴인식, 음소 분류, 생체신호 분석, 이상 탐지 |
코호넨 교수는 LVQ의 성능과 안정성을 향상시키기 위해 기본 LVQ1부터 단계적으로 개량된 알고리즘들을 제안하였습니다:
입력 벡터 $x$가 제시되었을 때, 전체 코드북 벡터 중 유클리드 거리가 가장 가까운 승자 코드북 벡터 $w_c$를 하나 선정합니다:
승자 벡터 $w_c$의 클래스 $C(w_c)$와 입력 $x$의 실제 클래스 $C(x)$에 따라 다음과 같이 갱신합니다:
입력 $x$에 가장 가까운 두 개의 코드북 벡터 $w_i$와 $w_j$를 동시에 고려하여 경계면을 정밀 조정합니다:
LVQ2.1에서는 두 코드북 벡터가 모두 올바른 클래스일 때 갱신이 일어나지 않아 코드북이 한쪽으로 치우치는 현상이 발생할 수 있었습니다. LVQ3는 가장 가까운 두 벡터 $w_i, w_j$가 모두 올바른 클래스에 속할 때도 다음과 같이 약한 가중치로 갱신하여 지속적인 수렴 안정성을 유지합니다:
얼마나 많은 종류의 코호넨 네트워크들이 존재하는가 ? : 엠아이랩 이관식