카운터프로퍼게이션 네트워크 : Counterpropagation Network

(1) 오차역전파(Backpropagation)의 치명적 속도 한계 극복

1980년대 다층 퍼셉트론(MLP)에 널리 쓰이던 오차역전파(Backpropagation) 알고리즘은 경사하강법 특성상 수천~수만 번의 반복 학습(Epoch)이 필요해 훈련 속도가 극도로 느리고, 지역 최소점(Local Minima)에 빠지는 고질적 문제가 있었습니다. 헥트-닐센은 함수 근사(Function Approximation) 문제를 역전파 오차 계산 대신, 자율 군집화(코호넨 층) + 고속 선형 연상(그로스버그 층)으로 분할 정복하여 역전파 대비 수백 배 빠른 초고속 연상 룩업 테이블(Self-organizing Lookup Table)을 구현해 냈습니다.

(2) 비지도학습과 지도학습의 최초 성공적 하이브리드 융합

입력 공간의 통계적 특징 분포를 추출하는 은닉층에는 정답이 필요 없는 자율학습(Unsupervised Learning)의 코호넨 경쟁망을 배치하고, 원하는 목표 출력으로의 매핑 층에는 지도학습(Supervised Learning)의 아웃스타 구조를 결합하였습니다. 이는 서로 다른 학습 알고리즘을 층별로 차별화 적용한 선구적 이종 결합 신경망 모델의 효시입니다.

(3) 양방향 동시 학습과 명칭(Counter-propagation)의 유래

완전형 CPN(Full Counterpropagation Network)에서는 입력 벡터 $X$와 목표 벡터 $Y$가 네트워크 양쪽 끝에서 서로 반대 방향(Counter)으로 동시에 진입하여 처리됩니다. 이로 인해 단 하나의 네트워크 안에서 순방향 함수 매핑 $y = f(x)$와 역방향 함수 매핑 $x = f^{-1}(y)$를 동시에 학습하여, 순함수와 역함수를 양방향으로 즉시 인출할 수 있는 구조적 특성을 지닙니다.

(1) 1단계 : 코호넨 경쟁층 (Kohonen Competitive Layer, 비지도 군집화)

정규화된 입력 벡터 $\mathbf{x}$가 주어지면, 은닉층의 각 코호넨 뉴런 가중치 $\mathbf{w}_j$와의 유클리드 거리를 계산하여 가장 가까운 단 하나의 승자 뉴런 $c$를 선발합니다 (Winner-Take-All):

승자 뉴런 $c$의 가중치만 입력 벡터 방향으로 이동시킵니다:

(2) 2단계 : 그로스버그 아웃스타 층 (Grossberg Outstar Layer, 지도 선형 매핑)

은닉층에서 승자로 결정된 뉴런 $c$만이 출력층으로 활성 신호 $z_c = 1$을 보냅니다. 출력층 뉴런 $k$는 목표 출력값 $y_k$와 연결 가중치 $u_{ck}$의 차이를 바탕으로 그로스버그 델타 규칙에 따라 가중치를 직접 갱신합니다:

수렴 후 출력층 가중치 $u_{ck}$는 승자 뉴런 $c$가 대표하는 입력 군집에 속한 목표 출력 벡터들의 평균치로 즉시 안착하므로, 복잡한 역전파 미분 연쇄 없이 극히 적은 에포크(Epoch) 내에 학습이 완료됩니다.

(3) 순방향형(Forward-only) vs 완전형(Full CPN) 아키텍처

• 순방향형 CPN (Forward-only CPN): 입력 $X$를 받아 코호넨 층에서 군집화한 뒤 아웃스타 층을 거쳐 출력 $Y'$만을 근사 생성하는 일반적 함수 근사기.
• 완전형 CPN (Full CPN): 입력 쌍 $(X, Y)$를 양방향으로 동시에 주입하여, $X$로부터 $Y'$를 구하는 순함수 매핑과 동시에 $Y$로부터 $X'$를 복원하는 역함수 매핑을 단일 가중치 토폴로지 안에서 완전 대칭으로 수행.

(1) 초고속 비선형 함수 근사 (Function Approximation) 및 적응형 룩업 테이블

항공기 및 미사일의 복잡한 공기역학 비행 궤적 계산, 로봇 매니퓰레이터의 순기구학 및 역기구학(Kinematics) 해를 실시간에 준하는 초고속 연산으로 즉시 도출하는 적응형 소프트웨어 룩업 테이블로 활용됩니다.

(2) 패턴 분류(Pattern Classification) 및 의료·재정학 데이터 매칭

의학 분야의 심전도(ECG)·뇌파(EEG) 이상 파형 패턴 매칭, 금융 시장의 주가 시계열 동향 예측, 항공 레이더 신호 식별 등 복잡한 시계열 신호를 고속으로 범주화하는 패턴 분류기로 널리 적용되었습니다.

(3) 통계적 데이터 압축 및 벡터 양자화 (Vector Quantization)

고차원 디지털 영상이나 음성 신호를 코호넨 층의 승자 뉴런 인덱스(코드북 번호)로 압축 전송하고, 수신단에서 아웃스타 층의 대표 가중치 벡터로 복원하는 통계적 데이터 압축 코덱으로 기능합니다.

(4) 불완전 데이터 및 결측치 복원 (Associative Reconstruction)

완전형 CPN의 양방향 대칭 연상 성질을 이용하여, 입력 신호의 일부가 노이즈로 훼손되거나 유실되었을 때도 상호 역방향 연상을 통해 원래의 온전한 패턴 쌍을 역추적해 복원해 냅니다.