Parallel Distributed Processing & Neural Networks

Parallel Distributed Processing

병렬분산처리 (PDP) : 딥러닝과 인공신경망 르네상스를 연 연결주의 계산 모델

1. 컴퓨터·AI·신경망에서의 의미와 핵심 기능 및 활용 예

① 3대 분야에서의 핵심 의의 (Significance)

1. 💻 컴퓨터 과학(Computing)에서의 의미 : "폰 노이만 병목의 극복과 결함 감내성"

  • 직렬 한계 극복: 전통적인 폰 노이만 컴퓨터는 CPU가 메모리에서 명령어를 하나씩 순차적으로 가져와 처리하므로 대용량 데이터 처리 시 심각한 병목 현상이 발생합니다. PDP는 수많은 단순 처리 노드가 대규모 동시 병렬성(Massive Parallelism)으로 동시에 연산하여 이 한계를 돌파했습니다.
  • 결함 감내성(Graceful Degradation): 중앙 제어 장치 하나가 고장 나면 멈추는 일반 컴퓨터와 달리, 일부 노드나 연결선이 손상되어도 전체 시스템 성능이 완만하게 저하될 뿐 동작을 멈추지 않는 생물학적 뇌와 같은 견고함을 구현했습니다.

2. 🤖 인공지능(AI)에서의 의미 : "기호주의의 벽을 허문 지식의 분산 표상"

  • 규칙 기반(Symbolic AI) 한계 극복: 기존 전문가 시스템은 사람이 일일이 if-then 규칙을 코딩해야 했고, 노이즈나 예외에 극도로 취약했습니다.
  • 분산 표상(Distributed Representation): 지식이 특정 기호 번지에 개별 저장되는 것이 아니라 전체 연결망의 가중치 패턴에 골고루 분산 저장됨을 입증하여, 상향식(Bottom-up) 학습과 직관적 패턴 인식이라는 새로운 패러다임을 확립했습니다.

3. 🕸️ 인공신경망(Neural Network)에서의 의미 : "AI 겨울의 종식과 현대 딥러닝의 모태"

  • 역전파 알고리즘의 대중화: 1969년 민스키와 파퍼트가 단층 퍼셉트론의 XOR 문제 불능을 증명하면서 신경망 연구는 15년간 암흑기(AI Winter)를 겪었습니다.
  • 현대 딥러닝의 수학적·철학적 뿌리: 1986년 Rumelhart, Hinton, Williams 등 PDP 연구 그룹이 오차역전파(Backpropagation)와 다층 퍼셉트론(MLP)을 체계화하여 신경망을 부활시켰으며, 이는 오늘날의 합성곱 신경망(CNN), 트랜스포머(Transformer), 거대언어모델(LLM)로 이어지는 딥러닝 혁명의 직접적인 수학적·철학적 뿌리가 되었습니다.

② PDP의 4대 핵심 기능 (Core Functions)
  • • 동시 병렬 처리 (Simultaneous Processing) : 수천~수백만 개의 인공 뉴런이 입력 자극에 대해 동시에 발화 상태를 갱신합니다.
  • • 분산 가중치 기억 (Distributed Weight Storage) : 기억(Memory)은 별도의 저장소가 아닌 뉴런 간의 연결 강도(Weight Matrix) 자체로 존재합니다.
  • • 내용 기반 연상 기억 (Content-Addressable Memory) : 주소 번지가 없어도 데이터의 일부분이나 노이즈 섞인 단서만으로 원래의 완전한 기억을 역추적 복원합니다.
  • • 제약 만족 (Constraint Satisfaction) : 노드 간의 상호 흥분(Excitation)과 억제(Inhibition)를 통해 여러 상충되는 단서 속에서 가장 정합성 높은 결론을 스스로 찾아냅니다.

③ 대표적인 고전 활용 모델 및 실세계 예시 (Classic Examples)
✦ 1. 과거형 동사 학습 모델 (Past-Tense Learning Model, Rumelhart & McClelland 1986)

• 내용 : 인간 어린이가 영어 동사의 과거형을 배울 때 보이는 U자형 발달 곡선(규칙 학습 ➔ 불규칙 동사 과잉 일반화 "goed" ➔ 올바른 형태 "went" 재습득)을 명시적 규칙 알고리즘 없이, 단지 음운 패턴의 병렬분산 역전파 학습만으로 재현했습니다.

• 의의 : 규칙을 프로그래밍하지 않아도 신경망이 통계적 규칙성을 스스로 획득할 수 있음을 증명했습니다.

✦ 2. 상호작용적 활성화 및 경쟁 모델 (Interactive Activation & Competition Model, 1981)

• 내용 : 인간의 시각적 단어 및 문자 인식 모델입니다. 시각적 선분(Feature) ➔ 알파벳(Letter) ➔ 단어(Word) 층위가 병렬 상호작용합니다.

• 의의 : 삐뚤빼뚤하게 쓰인 글자라도 단어의 전체 맥락을 통해 정확하게 판독해내는 하향식 맥락 효과(Word Superiority Effect)를 완벽히 모사했습니다.

✦ 3. 의미 인지 네트워크 (Semantic Cognition Networks)

• 내용 : "카나리아는 노래할 수 있고 날 수 있으며 새의 일종이다"와 같은 복잡한 개념 위계 구조를 은닉층의 분산 활성화 벡터로 학습시켰습니다.

• 의의 : 오늘날 단어 임베딩(Word2Vec) 및 대형 언어 모델의 벡터 표상(Vector Embedding) 기술의 시초가 되었습니다.

2. PDP 연구팀과 역전파(Backpropagation)의 역사적 부흥

신경망 (Neural Network) 연구에서 병렬분산처리 (Parallel Distributed Processing, PDP) 는 연결주의 (Connectionism) 와 같은 개념으로 사용된다....

David Rumelhart 등은 1986년에 출판된 저서에서 역전파 (Back-propagation) 알고리즘을 널리 유행시켰다. 이 책은 샌디에이고에 있는 캘리포니아 대학의 여러 심리학자들과 컴퓨터 관련 학자들의 신경망 관련 연구들을 요약한 것이다.

그 주요 맴버들로는 David Rumelhart, James McClelland, Geoffrey L. Elman, Terrence Sejnowski, Paul Smolensky, David Zipser 등을 들 수 있으며 이 책은 신경망 (Neural Network) 의 새로운 붐을 일으키는데 크게 기여했다.

PDP 연구팀은 일반화 델타 규칙 (generalized delta rule) 이라고 불리는 Backpropagation 알고리즘을 제안하였는데 그것은 민스키와 파퍼트가 상세히 분석한 perceptron 모델의 제한점들을 극복했으며, 이로써 십여년 간 침체했던 신경망 연구에 새로운 장을 열었다.

3. 관련 용어, 사이트, 주요 저서 및 영상 자료

📖 관련 용어 (term)
🌐 관련 사이트 (site)

Wikipedia : Connectionism

📑 기념비적 연구 저서 (paper / book)
🎬 추천 영상 자료 (video)

[영상] PDP 공동 저자 제프리 힌튼(Geoffrey Hinton)의 구글 테크 토크 : 차세대 신경망과 역전파의 진화