Connectionism

연결주의 (Connectionsim) 은 일반적으로 신경망 (Neural Network) 으로 작동하는 정신 또는 행동 현상을 모델링하는 인지심리학 (Cognitive Psychology), 인지과학 (Cognitive Science), 심리철학 (Philosophy of Mind) 분야에서 하나의 접근방식으로 언급되며, 그것이 왜 좋은 아이디어 인지에 대한 일련의 주장과도 연관된 것이다.

모든 현대의 연결주의는 마음 (Mind) 을 다루는 두가지 주요한 원리에 집착한다.

• 어떠한 정신상태도 신경망에서의 신경세포 단위 (neural units) 에 대해 n-차원의 수치 활성값 (n-dimensional vector of numeric activation values) 으로 묘사될수 있다.
• 기억 (memory) 이라는 것은 neural units 간의 연결의 강도 또는 구조 (strength or architecture of the connections) 를 수정하여 이루어진다 (여기서 connectionism 이란 명칭이 만들어졌다). 연결강도 또는 "가중치 (weights)" 는 일반적으로 N x N 차원 행렬로서 표현된다.

(참고 : 신경세포 (Neuron)   시냅스 (Synapse)   활성화 함수 (Activation Function)

연결주의자 (Connectionist) 는 대개 그들의 모델에서 학습 (Learning) 의 중요성을 강조한다. 결과적으로, 신경망을 위한 많은 섬세한 학습과정이 연결주의자들에 의해 개발되어왔다. 학습은 항상 연결 가중치 (connection weights) 를 수정하는 것을 포함한다. 이것은 대개 neural unit 의 요소들을 활성화시키는 데이타가 주어질때 (when given sets of data consisting of activation vectors for some subset of the neural units), 가중치의 변화를 결정하기 위한 수학 공식을 포함한다 (신경망에서의 학습은 연결강도의 가중치 업데이트 (weight update) 와 같다).

그러한 방법으로 학습을 형식화 함으로써 연결주의자들은 많은 툴을 늘 가까이 가지고 있다. 연결주의 학습 방법에서 매우 흔한 전술은, 가중치 행렬로 정의된 공간에서 error surface 에 대해 기울기 하강 (Gradient Descent) 를 통합하는 것이다. 연결주의 모델에서 모든 gradient descent 학습은 가중치에 관해서는 partial derivative of the error surface 에 의한 각각의 가중치 변화를 포함한다. 1980 년대에 만들어져 대중화된 역전파 (Back-propagation) 은 오늘날 가장 널리 알려진 connectionist gradient descent algorithm 일것이다.

연결주의 모델에서 오늘날 유행하는 형태는 병렬분산처리 (Parallel Distributed Processing, PDP) 이라고 알려져 있다. PDP 는 1980 년대에 James L. McClelland, David Rumelhart 와 그들의 PDP Research Group 에서 저술한 "Parallel Distributed Processing: Explorations in the Microstructure of Cognition - Volume 1 (foundations) & Volume 2 (Psychological and Biological Models)" 출간과 함께 유명하게 되었다. PDP 의 뿌리는 1950 년대의 퍼셉트론 (Perceptron) 이론이다. 1952 년에 일찌기 Friedrich Hayek 는 두뇌에서의 idea of spontaneous order 는 decentralized networks of simple units (neurons) 에서 발생한다고 주장하였음에도 불구하고, Hayek 의 업적은 연결주의 문헌에서는 언급되지는 않았다.

연결주의 모델의 또다른 형태는 1960 년대에 언어학자 Sydney Lamb 이 개발한 Relational Network 이지만, 그것은 단지 언어학자들에 의해서만 사용되어 왔다.

더 일찌기 다소 다른 연결주의 관점이 Edward Lee Thorndike 에 의해 만들어 졌다. 그는 학습을 연구한 세기적인 심리학자로서, 고양이가 puzzle box 에서 어떻게 탈출하는지에 연구와, Law of Effect 의 공식화로 유명해졌다. 그의 해석은 자극과 반응 (stimuli and responses, S-R) 간의 연관에 관하여 강조했다. 비록 S-R aspect 가 오늘날에는 급진적인 행동주의자와 인지심리학자 (연결주의자를 포함하여) 들이 포기한 이론이지만, 연결주의 모델에서의 연관 강도 (association strength) 의 수정에 대한 언급을 하기는 쉬웠다.

연결주의자들은 recurrent networks (네트워크의 연결이 directed cycle 을 형성할수 있는 네트워크) 가 feedforward networks (어떤한 directed cycle 도 없는 네트워크) 보다도 인간의 두뇌 (brain) 와 더 닮았다는데 대개 동의한다. 게다가 많은 recurrent connectionist model 들이 dynamical systems theory 를 통합하였다. Paul Smolensky (PDP 저자중의 일인) 같은 연결주의자를 비롯한 많은 연구원들은, 연결주의 모델이 취할 방향은 fully continuous, high-dimensional, non-linear dynamic systems 접근방식을 향하고 있다고 주장해 왔다.

연결주의는 인지주의 (cognitivism) 와 반대되는 패러다임으로 알려져 왔다. 연결주의와 인지주의의 차이점은 다음과 같다.

• 인지주의는 잠재해 있는 두뇌의 구조와는 전혀 닮지않은 기호모델 (symbolic model) 의 입장을 취한다 (posit). 반면에 연결주의자들은 "낮은 단계 (low level)" 모델링에 몰두하여, 그들의 모델이 신경구조와 닮았다고 확신하여 접근한다.
• 인지주의는 대개 명확한 기호 (정신 모델) 과 그 내부 조작을 위한 문법적 규칙 (syntactical rules) 에 촛점을 맞추었다. 반면에 연결주의는 환경의 자극으로부터의 학습과 그 학습정보를 뉴런간의 연결의 형태로 저장하는 것에 촛점을 맞추었다.
• 인지주의는 내부의 정신활동이 명확한 기호 (explicit symbols) 의 조작으로 구성가능 하다고 믿는다. 반면에 연결주의자들은 명확한 기호의 조작으로 정신활동을 모델링하기는 부족하다고 믿는다.

...... (Wikipedia : Connectionism)

term :

연결주의 (Connectionism)   신경망 (Neural Network)   인지 심리학 (Cognitive Psychology)   인지과학 (Cognitive Science)   심리철학 (Philosophy of Mind)    마음 (Mind)    신경세포 (Neuron)    시냅스 (Synapse)    활성화 함수 (Activation Function)    학습 (Learning)   병렬분산처리 (Parallel Distributed Processing, PDP)   계산주의 (Computationalism)    행동주의 (Behaviorism)    

site :

Online papers : Philosophy of connectionism : David Chalmers

paper :

초기의 세 연결주의자   신연결주의 : Winfred F. Hill

연결주의인가, 산출체계인가 (아니면 둘 다인가?) : Philip N. Johnson-Laird

결합주의 이론들 : Robert J. Sternberg

연결주의와 구성적 구조 (Connectionism and Compositional Structure) : 최훈, 서울대 철학논구, 1994

인지과학과 과학철학 ; 계산주의, 연결주의, 단순성 (Cognitive Science and Philosophy of Science ; Computationalism , Connectionism and Simplicity) : 공용현

인지과학과 과학철학 ; 논평 - 마음, 컴퓨터, 인지 이론 - " 계산주의, 연결주의, 단순성 " 에 대한 논평 (Cognitive Science and Philosophy of Science ; Computationalism , Connectionism and Simplicity) : 신중섭 

과학문화와 동양적 연결주의 (Scientific Culture and Oriental Connectionism) : 소흥렬, 한국과학철학회, 2002

최적성이론과 독일어 통사론 - 그 가능성과 인지과학적 의의 - (Optimalitatstheoretische Ansatze zur Syntax des Deutschen - Moglichkeiten und kognitionswissenschaftliche Bedeutung -) : 남유선, 최명원, 홍우평, 한국독어학회, 2003 

음악과 연결주의 : 컴퓨터 음악의 새로운 개념 (Music and Connectionism : The New Concept of Computer Music) : 전지호, 한국음악학회, 1995

Connectionism and Information Processing Abstractions : B. Chandrasekaran, Askhok Goel, Dean Allemang, AAAI, 1988

Jeffrey L. Elman, Elizabeth A. Bates, Mark H. Johnson, Annette Karmiloff-Smith, Domenico Parisi, Kim Plunkett: Rethinking Innateness. A connectionist perspective on development. MIT Press, 1996