코그니트론 & 네오코그니트론 : Cognitron & Neocognitron

(1) 생물학적 시각 피질 메커니즘의 최초 전산적 모델링

1959년과 1962년 데이비드 휴벨(David Hubel)과 토르스텐 비셀(Torsten Wiesel)은 고양이와 원숭이의 일차 시각 피질(V1)에서 특정 방향의 선이나 모서리에 반응하는 단순 세포(Simple Cells)와, 위치 변화에 덜 민감하게 반응하는 복합 세포(Complex Cells)의 계층적 정보 처리 메커니즘을 발견하여 노벨 생리의학상을 수상했습니다. 후쿠시마는 이 생체 뇌의 원리를 인공신경망에 최초로 접목하여, 단층 퍼셉트론의 평면적 연결을 벗어나 국소 수용장(Local Receptive Field)과 계층적 다층 구조(Hierarchical Multilayer Architecture)를 지닌 신경망을 구축하였습니다.

(2) 현대 합성곱 신경망(CNN, Convolutional Neural Network)의 직계 조상

코그니트론(1975)과 그 후속 발전형인 네오코그니트론(Neocognitron, 1980)은 국소 특징을 추출하는 S-세포(합성곱 연산층에 대응)와 위치 불변성을 부여하는 C-세포(서브샘플링/풀링 연산층에 대응)의 교차 배치를 세계 최초로 확립하였습니다. 이는 1989년 얀 르쿤(Yann LeCun)의 LeNet, 그리고 2012년 AlexNet을 거쳐 오늘날 전 세계 컴퓨터 비전과 자율주행을 지배하는 현대 합성곱 신경망(CNN) 기술의 직접적인 설계 청사진이 되었습니다.

(3) 비지도 자율 경쟁 학습(Self-Organizing Competitive Learning)의 선구자

생물학적 뇌는 외부에서 일일이 정답 레이블을 주는 지도학습(Supervised Learning)만으로 시각을 형성하지 않습니다. 코그니트론은 외부 교사 신호 없이 시각 자극에 반복 노출됨으로써 스스로 국소 연결 구역 내에서 승자 뉴런을 선발하여 연결 강도를 갱신하는 자율 학습(Unsupervised Learning) 체계를 정립하였습니다.

(1) 국소 연결 구역 (Connection Region / Receptive Field)

각 계층의 뉴런은 이전 층의 전체 뉴런이 아니라 정해진 반경의 국소 연결 구역 내 뉴런들하고만 연결을 형성합니다. 하위 층에서는 매우 작은 영역의 점, 미세한 선분 등의 원시 특징을 검출하고, 계층을 거슬러 올라갈수록 유효 수용장이 기하급수적으로 확장되어 문자, 기하학적 형상 등 전역적인 복합 패턴을 점진적으로 통합 인식합니다.

(2) 흥분성 세포와 억제성 세포의 분로 억제 (Shunting Inhibition)

코그니트론 뉴런 $u(n)$은 흥분성 시냅스 입력 $e(n)$과 억제성 시냅스 입력 $h(n)$을 동시에 받으며, 단순 뺄셈이 아니라 나눗셈 형태의 비선형 정규화(Normalization) 활성화 함수를 사용합니다:

이 분로 억제(Shunting Inhibition) 메커니즘을 통해 입력 자극의 절대적 밝기나 배경 명암의 균일한 변화에 영향을 받지 않고, 오직 패턴의 상대적 대비(Contrast)에만 민감하게 반응하는 시각 순응(Visual Adaptation) 특성을 확보합니다.

(3) '엘리트 교육' 승자 독식 경쟁 학습 (Winner-Take-All Learning)

한 영역 내에서 입력 자극에 대해 가장 높은 반응을 보인 최대 점화 뉴런(승자 뉴런, Maximum Responder)만이 선택되어 자신의 시냅스 가중치를 강화합니다:

이 규칙에 따라 선택된 승자 뉴런은 제시된 패턴의 특징 검출기로서 전문화되며, 주변의 패자 뉴런들은 억제되어 다른 새로운 패턴을 학습할 수 있는 여력을 보존함으로써 네트워크 전체가 중복 없이 다양한 시각 특징을 분담하여 학습하게 됩니다.

(1) 필기체 문자 및 기호 광학 인식 (Handwritten Character Recognition / OCR)

사람마다 필체와 획의 굵기가 제각각인 아라비아 숫자(현대 MNIST 데이터셋의 원형), 영문 알파벳, 한글 자모, 일본어 가나 및 한자 패턴을 사전 정답 지시 없이도 자율적으로 분류하고 인식하는 고전적 문자 인식 시스템의 표준적 벤치마크 모델로 적용되었습니다.

(2) 생체 시각 신경계(Visual Pathway)의 계산신경과학적 시뮬레이션

개구리의 망막(Frog Retina), 고양이의 시각 피질 V1 영역, 영장류의 하측두피질(IT Cortex)에 이르는 시각 정보 경로의 계층적 특징 처리 과정을 컴퓨터 시뮬레이션으로 재현하여, 뇌신경생리학자들에게 시각 인지 가설을 검증할 수 있는 강력한 계산 모델을 제공하였습니다.

(3) 로봇 비전 및 배경 잡음 내 물체 형상 검출

공장 자동화 및 로보틱스에서 조명의 심한 불균일이나 배경 노이즈가 존재하는 복잡한 산업 환경에서 부품의 외곽선과 모서리 특징을 강건하게 추출하는 비전 인식기로 활용되었습니다.

(4) 딥러닝 비전 인공지능(CNN 아키텍처)의 설계 원형

자율주행차의 장애물 감지, 의료 영상(X-ray, MRI) 자동 판독, 스마트폰 안면 잠금 해제 등에 핵심으로 쓰이는 합성곱 층(S-세포)과 풀링 층(C-세포)의 교차 계층 구조의 원천 기술로서 계승되어 현대 컴퓨터 비전의 토대가 되었습니다.