Adaptive Resonance Theory
인간 두뇌의 훌륭한 기능 중의 하나는 과거에 배웠던 것들을 잊지 않고도 새로운 것들을 계속하여 배울 수 있다는 점이다. 일례를 들자면, 친한 친구인 '갑' 이라는 사람을 오랫동안 만나지 않았고 그 사이에 수많은 다른 친구들을 사귀었는데도 불구하고, '갑' 이란 친구를 10년만에 만났을 때에도 예전의 기억이 다소나마 남아있음을 알 수 있다. 이러한 인간 두뇌의 특징을 인공적인 신경망에 적용할 수 있다면 매우 좋을 것이다. 그러나 지금까지 살펴본 신경망 모델들은 학습된 것 이외의 새로운 정보를 추가로 학습시키려 할 때는 전부를 다시 학습시켜야 하는 제한점이 있다. 이와 같이 재학습이 필요없는 모델은 없을까? ..... 1976년 미국 보스턴 대학의 Stephen Grossberg 와 그의 부인 Gail A. Carpenter 가 개발한 ART (Adaptive Resonance Theory) 모델은 아마도 지금까지 개발된 신경망 모델 중에서 가장 복잡한 신경망 중의 하나일 것이다. ART에 의거한 신경망 모델들은 ART-1 과 ART-2 로 불리는 두 개의 네트워크가 있다. ART-1 네트워크는 입력패턴이 이진수(binary)인 경우에만 처리가 가능하고, ART-2 네트워크는 아날로그 입력 데이터도 (물론 이진수도 가능) 처리가 가능하다. 최근 들어 화학적 전달 물질을 ART 네트워크에 접합한 ART-3도 연구되었다 ........... 이 모델은 기존에 학습되었던 것이 새로운 학습에 의해 지워지지 않도록 새로운 지식을 자동적으로 전체 지식 베이스에 일관성 있는 (self-consistent) 방법으로 통합한다. 즉 적절하게 매치 (match) 되는 새로운 정보를 이용하여 이미 배운 내용들을 정제하며 (refine), 새로운 인식 카테고리의 학습을 위하여 새로운 유니트를 선택하고, 기억용량을 넘어서는 과다한 새로운 입력에 의해 기존에 취득한 내용이 지워지는 것을 방지한다. 따라서 끊임없이 변하는 환경에서 자신의 메모리 용량을 전부 소모할 때까지는 제한없는 입력에 대해 실시간으로 빠르고 안정되게 배울 수 있는 구조이다.......... (김대수 1992)
...... 왜 피드백과 공명이 필요한 것인가? 왜 아래층의 마디 (node) 들은 자신과 연계되어 있는 윗층의 마디들을 활성화시킨 후 그대로 남아 있지 않는 것인가? "적응적 공명" (adaptive resonance) 의 진화적 목적은 소음을 억압하여 (Grossberg, 1980), 소음상황에서 - 예컨대, 거리가 멀고 조명상태가 나빠서 자극의 부분만을 볼 수 있을 때 - 자극을 재인할 수 있게 해주는 것이다. 만일 공명이 없다면 여러분은 '영희' 가 멀리 떨어져 있을 때나 아니면 그녀의 얼굴 전체를 보지 못할 때 그녀는 잘 재인 (recognition) 할 수가 없을 것이다. 그녀의 얼굴 전체를 보지 못한다면, 세부특징탐지기 모두가 활성화되는 것이 아니기 때문에 상위 수준에 있는 얼굴 단위의 활성화가 충분하지 못할 수가 있다. 뒤에서 보게 되겠지만 적응적 공명은 소음을 억압하는 일 외에도 상당히 많은 일을 - 비교적 예상하기 어려운 일을 - 수행한다. 몇 시간 지난 후에 '영희' 를 다시 보는 경우에도 공명은 일어난다. 여러분이 '영희' 를 몇 년만에 본다고 상상해보자. 그녀의 얼굴 세부특징들은 약간씩 변하였을 것이지만 계속해서 상위 수준에 있는 정확한 단위를 활성화시킬 가능성이 크며, 따라서 공명이 일어난다. 상위수준의 단위는 이제 자극에 의해 활성화되지 않았던 하위수준의 세부특징 단위들을 활성화시키며, 이 단위들은 '영희' 의 얼굴에 의해서 활성화되었던 몇몇 단위들을 억제하게 된다. 결과적으로 공명은 '영희' 를 정상적으로 되돌려 놓는다. 즉, ...... 여러분이 볼 것이라고 기대하는 것과 보아야 하는 것 간의 절충을 보는 것이다. .............. (Colin Martindale 1991)
term :
신경망 (Neural Network) 자율학습 (Unsupervised Learning) 적응공명이론 (Adaptive Resonance Theory)
site :
Adaptive Resonance Theory : Neural Networks at your Fingertips
paper :
공명과 무의식적 추론 : Colin Martindale