NEURAL COMPUTING & INFORMATION GEOMETRY CLASSIC

뇌의 소프트웨어를 찾아서

출처 : 바이오 컴퓨터 : 아마리 슝이찌(甘利俊一) 저서, 21세기 과학시리즈 편찬회 역, 대광서림, 1993, Page 97~140

정보기하학의 창시자 아마리 슝이찌 교수가 규명하는 뇌의 정보처리 원리 : 폰 노이만 기계의 한계, 병렬 분산 처리, 자기조직화, 소뇌 퍼셉트론, 그리고 연상기억 신경회로망 총정리

1. 뇌연구의 구성적 방법 2. 직렬처리와 병렬처리 3. 뉴런의 병렬 상호작용 4. 학습기계로서의 뇌 5. Perceptron 6. 소뇌의 구조 7. 정보처리계의 자기조직 8. 인식세포의 형성 9. 기억 모델 10. 연상 기억방식 11. 앞으로의 과제

1. 뇌연구의 구성적 방법 (Synthetic Approach)

정보처리 장치로서 뇌를 본 경우, 컴퓨터와는 근본적으로 다른 특징을 어느 정도 들 수가 있다. 우선, 뇌의 하드웨어는 뉴런 회로망으로 된 병렬처리 머신이다. 뇌는 이 머신을 이용해서, 병렬 정보처리, 분산 정보처리를 하고 있으며, 계산기처럼 CPU (중앙처리장치) 가 모든 정보의 흐름을 돌보는 일은 하고 있지 않다.

그럼, 병렬처리 머신을 잘 활동하도록 시키는 소프트웨어는 어떻게 공급되는 것일까? 뇌의 소프트웨어는 학습 및 자기조직에 의해서 자동적으로 만들어진다. 즉, 뇌는 학습능력을 갖고 있으며, 자기의 구조를 필요에 따라서 바꾸어 간다는 점에 특징이 있다. 물론, 뇌의 하드웨어와 소프트웨어는 일체가 되어서 일하고 있고, 이것을 분리하는 것은 있을 수는 없다. 이점 때문에도, 뇌는 알고리즘에 따라서 순차적 논리연산을 실행하는 컴퓨터와는 근본적으로 다르다.

뇌를 조사하는 데는 여러 가지 방법이 있다. 생리학을 중심으로 생물과학은 뇌의 구조를 해명하기 위해 많은 노력을 기울여 왔다. 그러나 정보처리 장치로서 뇌를 보는 경우에는 단지 생물학적 실재로서의 뇌를 관찰하는 것만으로는 불충분하다. 트랜지스터의 물리 기능을 아무리 조사하더라도 소프트웨어의 성질을 알 수 없는 것과 마찬가지다.

뇌의 정보처리 기능을 이해하려면, 대담하게 가설을 세우고 논리적 사고에 의해 뇌의 수학적 모델을 만들며, 그 모델의 동작을 조사함으로써 그 기능을 추측하는 방법이 오히려 지름길이다. 이와 같은 방법을 「구성적 방법 (Constructive / Synthetic Method)」혹은「신경 모델링 (Neural Modeling)」 이라고 부른다.

<그림 1> 맥카록과 피츠의 형식 뉴런 (McCulloch-Pitts Formal Neuron)

1943년 미국의 수리과학자 맥카록(McCulloch)과 피츠(Pitts) 두 사람은 뉴런의 동작을 보여주는 모델을 제출했다 (<그림 1>). 하나의 뉴런에는 다수의 입력신호 가 들어간다. 이 입력신호를 종합해서 뉴런은 흥분(1)하는가 안 하는가(0)로 답을 낸다.

맥카록과 피츠는 뉴런이 가중치가 붙은 덧셈(Weighted Summation)을 한다고 보았다. 하나하나의 입력섬유는 각각 적당한 무게 를 갖고 있으며, 입력 신호와 무게의 곱의 총합 $\sum w_i x_i$ 이 문턱값을 넘는지에 따라 출력이 1 또는 0이 된다. 이는 일종의 '다수결 원리'이며, 뉴런으로 논리연산의 기본인 AND, OR, NOT 소자를 만들 수 있음을 보여주었다. 이는 곧 신경계가 논리적인 완전계를 이루며 튜링 머신(Turing Machine)과 동등한 계산 능력을 가질 가능성을 수학적으로 입증한 것이다.

1940년대 정보과학의 여명기에 폰 노이만(von Neumann)은 이미 뇌와 컴퓨터의 결정적 차이를 간파하고 있었다. 컴퓨터는 직렬 동기 동작을 하지만, 뇌는 병렬 비동기 동작을 한다. 뇌는 신뢰성이 떨어지는 불완전한 소자들을 다수 모아 신뢰성 있는 계산을 수행하는 장치이며, 마치 통계역학(Statistical Mechanics)과 같은 협동 현상(Cooperative Phenomena) 에 의해 지탱되고 있다고 직감했던 것이다.

2. 직렬처리와 병렬처리 (Serial vs Parallel Processing)

작은 망점으로 나누어진 화면상에 흑과 백으로 <그림 2>와 같은 패턴이 그려져 있을 때, 검은 부분의 패턴이 전체적으로 하나의 이어진 링(도형)인지 아니면 두 개로 분리되어 있는지를 판정하는 문제를 생각해 보자 :

<그림 2> 패턴 연결성 판정 (하나의 링인가, 두 개의 링인가?)

직렬 처리 방식 (컴퓨터 알고리즘)

어느 한 점에서 출발하여 선을 따라 순서대로 추적(Trace)합니다. 루프를 다 돌아서 출발점으로 돌아왔을 때 다른 선이 남아있는지 확인합니다. 선이 길어지고 복잡하게 얽힐수록 탐색 시간이 기하급수적으로 늘어납니다.

병렬 분산 처리 방식 (인간의 두뇌)

눈의 시각 피질은 전체 패턴을 한순간에 병렬 수용합니다. 국소적인 전파와 이완(Relaxation) 과정을 통해 순식간에 연결성을 지각합니다. 선의 전체 길이와 무관하게 거의 일정한 즉각적 반응 시간을 보입니다.

<그림 3> 병렬 정보처리 계층 구조 (국소 처리층과 대역적 수렴)

3. 뉴런의 병렬 상호작용 (Parallel Neural Interactions)

뉴런들은 독립적으로 존재하는 것이 아니라, 흥분성(Excitatory)과 억제성(Inhibitory) 결합을 통해 복잡한 상호작용망을 형성한다.

특히 중요한 메커니즘은 측두 억제 (Lateral Inhibition) 이다. 어떤 뉴런이 강하게 흥분하면 그 이웃 뉴런들의 활동을 억제하는 구조로, 시각의 마하 밴드(Mach Bands)처럼 윤곽선과 대비(Contrast)를 선명하게 부각시키는 결정적 역할을 한다. 또한 흥분과 억제가 되먹임(Feedback)되는 순환 회로망에서는 일정한 반향(Reverberation)을 통해 동역학적 어트랙터(Attractor) 안정 상태를 형성한다.

4. 학습기계로서의 뇌 (The Brain as a Learning Machine)

뇌는 하드웨어와 소프트웨어가 분리되어 있지 않다. 소프트웨어는 시냅스 결합 강도(Synaptic Weight)의 자기조절적 변화로 뇌 회로 자체에 물리적으로 각인된다.

1949년 도널드 헵(Donald Hebb)이 제창한 헵의 학습 규칙(Hebbian Learning Rule) 은 다음과 같다 :
"두 뉴런이 동시에 활성화되면(Fire together), 그 두 뉴런 사이의 시냅스 연결 가중치는 강화된다(Wire together)."
이 단순한 국소적 시냅스 가소성(Synaptic Plasticity) 원리가 바로 뇌가 외부 경험을 통해 스스로 소프트웨어를 생성해내는 근원적 엔진이다.

5. 퍼셉트론 (Perceptron)

1958년 프랑크 로젠블랫(Frank Rosenblatt)은 헵의 원리를 계승하여 학습 능력을 갖춘 최초의 인공신경망 모델인 퍼셉트론 (Perceptron) 을 발표했다 (<그림 4>).

<그림 4> 파셉트론의 구조 (S층: 감각세포 → A층: 연합세포 → R층: 반응세포)

퍼셉트론은 오차 피드백을 통해 가중치를 점진적으로 수정하며, 정답 패턴을 학습하는 '퍼셉트론 수렴 정리'를 증명하였다. 비록 1969년 민스키와 페퍼트가 단층 퍼셉트론의 선형 분리 한계(XOR 문제)를 지적하며 암흑기를 맞았으나, 다층화와 오차역전파법의 발전으로 오늘날 딥러닝 혁명의 모태가 되었다.

6. 소뇌의 구조와 신경 퍼셉트론 모델 (Cerebellum)

뇌의 실제 신경해부학적 구조가 퍼셉트론과 놀랍도록 일치한다는 사실이 밝혀졌다. 데이비드 마르(David Marr)와 제임스 알버스(James Albus)는 소뇌의 정밀한 구조가 퍼셉트론의 운동 학습 기계와 동일하다는 소뇌 퍼셉트론 가설을 제안했다.

<그림 5> 소뇌 피질의 신경 회로 모식도 (이끼 섬유, 평행 섬유, 푸르키니에 세포, 등반 섬유)

이토 마사오(Ito Masao) 박사의 전설적인 생리학 실험에 의해 증명된 소뇌의 학습 원리 :
• 이끼 섬유 (Mossy fiber) & 평행 섬유 (Parallel fiber) : 방대한 운동 감각 입력을 전달 (퍼셉트론의 입력층 및 연합층).
• 푸르키니에 세포 (Purkinje cell / 조롱박 세포) : 소뇌의 유일한 출력 뉴런 (반응세포 R).
• 등반 섬유 (Climbing fiber) : 하올리브핵에서 올라와 오차(Error) 신호이자 '교사 신호(Teacher Signal)'를 전달하여 시냅스 가중치를 장기 억압(LTD: Long-Term Depression)으로 미세조정.

7. 정보처리계의 자기조직 (Self-Organization)

외부의 가르침(교사 신호) 없이도 뇌는 입력 신호의 통계적 규칙성을 감지하여 기능적 신경 지도를 스스로 편성한다.

<그림 6> 외계(External World)의 연속적 물리 공간과 뇌 내부 피질 표현의 위상 보존 매핑

대뇌 시각피질의 방위 선택성 칼럼(Orientation Columns)과 안구 지배 칼럼, 그리고 체성감각 피질의 호문쿨루스(Homunculus) 지도는 모두 아마리 슝이찌 교수가 수리적으로 정립한 신경장 방정식(Neural Field Equation)과 자기조직화 원리에 의해 형성된다.

8. 인식세포의 형성과 분산 표상 (Distributed Representation)

특정 대상(예: 할머니의 얼굴)을 볼 때만 발화하는 단 하나의 세포가 존재한다는 '할머니 세포(Grandmother Cell)' 가설은 세포 손상에 지나치게 취약하다는 치명적 약점이 있다.

실제 뇌는 여러 특징(선, 각도, 색, 움직임)을 담당하는 수많은 뉴런군이 동시에 흥분하는 분산 표상(Distributed Representation) 방식을 사용한다. 이로 인해 일부 뉴런이 파괴되어도 대상 전체에 대한 인식이 무너지지 않고 우아하게 성능이 저하(Graceful Degradation)된다.

9. 기억 모델 : 번지 주소화 vs 내용 주소화

컴퓨터의 번지 주소화 (Address-Based Memory)

메모리의 특정 번지(Address, 예: 0x7FFF)를 지정해야만 데이터를 읽고 씁니다. 번지를 모르면 데이터를 찾을 수 없고, 해시 테이블 충돌(Collision) 등의 제약이 따릅니다.

인간 두뇌의 내용 주소화 (Content-Addressable Memory)

기억의 일부 내용이나 단서(예: "지난주에 만난 키 크고 안경 쓴 사람")만 주어지면, 그 내용 자체를 키워드로 삼아 관련된 전체 기억이 순식간에 복원(연상)됩니다.

10. 신경회로망의 연상 기억방식 (Associative Memory Dynamics)

"뇌에서는 기억 사항이 하나하나의 뉴런에 할당되어 축적되는 것이 아니다. 한 가지 사항은 한 뉴런 회로망의 전체에 흩어져서 결합 강약의 패턴으로 축적된다. 이것을 분포 기억 방식(분산 기억 방식) 이라고 부른다. 하나의 회로망 안에 많은 사항을 중첩시켜 다중으로 기억함으로써, 한 가지 사항에서 다른 사항으로의 연상과 전환, 추상화와 일반화가 가능해진다."

<그림 7> 연상기억 모델 (부분적·왜곡된 단서로부터 전체 개념 패턴의 복원)

아마리 슝이찌 교수가 제안한 연상 기억 모델의 놀라운 특성 :

오차 자동 교정 (Error Correction) : '둥글다, 붉다, 부드럽다, 크다'라는 잘못된 단서가 입력되어도, 회로망 내부의 상호작용을 통해 모순된 '부드럽다'를 '딱딱하다'로 자동 정정하여 올바른 [사과]의 전체상을 상기합니다.
경합과 억제 : 사과와 귤처럼 공통 속성(둥글다)을 공유하는 복수 패턴이 혼란스럽게 뒤섞이지 않도록, 측두 억제와 상호 억제 다이내믹스가 특정 어트랙터로 수렴하도록 유도합니다.

11. 앞으로의 과제와 바이오 컴퓨터의 전망

연상기억의 구조는 정적인 특징뿐만 아니라 시간 계열 패턴(시계열 정보, 음악, 시, 언어의 순차 회상)으로 자연스럽게 확장된다. 흥미로운 점은 우리가 노래나 시를 처음부터 순서대로 떠올리기는 쉬워도 역방향으로 부르기는 극히 어렵다는 사실인데, 이는 신경망의 시간적 연상 구조가 인간의 인지 특성과 직결되어 있음을 보여준다.

⚖️ 연상기억 방식의 장점과 단점 (아마리 교수의 총괄)

• 장점 : 다중 분포계에서는 기억의 장과 사고의 장이 완전히 일체화되어, 기억을 꺼내는 행위 자체가 곧 추론이자 연산이 된다.
• 단점 (부정확함) : 컴퓨터의 기억은 1비트의 오차도 없이 정확하지만, 신경회로망의 연상기억은 경합 상태에서 세부 디테일이 왜곡될 수 있다. (예: 읽을 수는 있지만 정확히 쓸 수는 없는 한자 현상).

크릭(Francis Crick)의 꿈에 대한 가설(과다 중첩된 기억의 혼란과 망상을 정리하고 유해한 시냅스 연결을 소거하는 역학습 과정)과 에피소드 기억의 정착 메커니즘 등, 두뇌 소프트웨어의 해명은 인지과학, 컴퓨터공학, 물리학이 만나는 21세기 바이오 컴퓨터 혁명의 최전선 과제이다.