신경망 모델
..... 다음 그림에 나와있는 회로망은 James McClelland (1981) 의 연구에 근거한 상호작용적 활성화 및 경쟁모형 (interactive activation and competition model) 이다. 회로망은 다섯 사람에 대한 정보와 관련되어 있으며, 각 사람은 그림 중앙에 있는 다섯개의 마디로 표상되어 있다. 이 마디들 속에는 아무 것도 들어 있지 않다. 이 마디들이 표상하고 있는 정보는 다른 마디들과의 연계 속에 들어 있다.
사람들에 대한 지식을 저장하는 경쟁적 - 상호작용 회로망. 각 원 속의 마디들은 상호간에 억제한다. 선분들은 양방향적 흥분을 나타낸다. 한 마디의 활성화는 동일원 속에 있는 다른 마디들을 억제시키며, 직접적이든 간접적이든 그 마디와 연계되어 있는 마디들을 활성화 시킨다.
다섯 사람의 속성들은 중앙원을 둘러싸고 있는 타원들 속의 마디로 표상된다. 회로망이 작동하는 방식은 다음과 같다 : 선들은 정방향의 흥분적 연계를 나타낸다. 우리는 동일원 속에 들어 있는 마디들 사이에는 상호간에 외측억제 (lateral inhibition) 가 작용한다고 가정한다. 한 마디가 활성화되면 자신이 속한 원 속의 다른 마디들을 억제하며, 자신과 연계되어 있는 다른 원 속의 마디들에 흥분을 전달한다. 흥분을 전달받은 마디들도 동일한 일을 수행한다. 흥분과 억제가 마디들 사이에 반향적으로 전달된 후에 어떤 마디들은 활성화가 극대화되고 다른 마디들은 억제된다.
원 사이의 선분들을 추적해보면 회로망이 정보를 저장하고 있음을 알게 될 것이다 ; 예컨대, 회로망은 Joe 가 백인 남자교수이며 수바루 자동차를 몰고다니며 브리 치즈를 좋아한다는 것을 알고 있다. Fred 도 Joe 와 유사한 특징을 가지고 있다. Harold 와 Frank 는 흑인 주식중매인이다. 이들은 모두 날렵한 차를 몰고 다닌다. Frank 는 휘즈 치즈를 좋아하지만 Harold 는 브리 치즈를 선호한다. 회로망은 사람들이 실제로 사고하는 방식을 닮은 몇가지 특성을 가지고 있다. 첫째, 내용이 스스로 주소를 가질 수 있는 (content addressable) 기억이다. 회로망에 Claudia 에 대해 묻는 것은 그녀의 이름을 부호화하고 있는 마디를 활성화시키는 것이 된다. 곧이어서 그녀의 특성을 부호화하고 있는 마디들이 자동적으로 활성화된다. 그녀를 알기 위해서 기억을 탐색할 필요가 없다. 단지 물음을 던지기만 하면 자동적으로 정보가 인출된다. 즉, 그녀에 대한 정보를 포함하고 있는 마디가 활성화된다. 회로망은 또한 생략시 배정기능 (default assignment) 을 보여준다. 탈락된 정보에 대해서는 자동적으로 "추측" 을 한다. 브리 치즈를 부호화하는 마디는 Claudia 에 대한 질문을 회로망에 던지고 나면 부분적이나마 활성화되기가 쉽다. 그 이유는 무엇인가? Claudia 가 교수이기 때문에 브리 치즈 마디가 교수를 부호화하는 마디로부터 활성화를 전파받기 때문이다. 이러한 부분적 활성화는 Claudia 가 브리 치즈를 좋아한다는 "가설" 로 해석될 수 있다 (David Rumelhart, Geoffrey Hinton, James McClelland, 1986). 회로망은 또한 자발적 일반화 (spontaneous generalization) 를 하는데, 이것은 지극히 바람직한 특성이라 하겠다. 만일 사람들이 이러한 능력을 가지고 있지 않다면, 모든 사실들을 개별적으로 학습하여야만 할 것이다. 천마리의 오리를 보고난 후에도 새롭게 접하는 오리가 지저귀지 않고 꽥꽥거릴 것이라는 사실을 알지 못할 것이다. 그렇기는 하지만 만일 편파적인 사례표집에 노출되게 되면 바로 이 일반화 능력이 문제점을 야기할 수도 있다.위의 회로망에게 흑인남자가 어떤 사람인가를 묻는다면, 날렵한 차를 몰고 다니는 주식중매인들이라고 대답하기가 십상이다. 마찬가지 방식으로 회로망은 모든 백인남자는 일제 자동차를 몰고 다니는 교수들이라고 생각할 것이다. 이 회로망은 편견 (bias) 을 가지고 있는 것이다. 심리학적 모형이라는 견지에서 보면, 이것은 오히려 좋은 점이다. 많은 사람들도 편견을 가지고 있기 때문이다. 회로망을 보다 많은 사람들의 정보에 노출시킴으로써 이 문제점을 해결할 수 있다. 회로망이 노출되는 각기 다른 사람들의 수가 많으면 많을수록, 엉터리 일반화를 할 가능성이 줄어든다 ............. (Colin Martindale 1991)
신경망의 기본 소자는 뉴런이다. 뉴런은 입력된 외부 자극을 합하여 그 결과에 따라 반응하는 단순한 기능만을 할 뿐이므로 뉴런의 기능을 다음 그림과 같이 모델링할 수 있다.
NET 와 OUT 은 각각 입력된 외부 자극의 가중합과 뉴런의 출력을 의미하며, 다음과 같이 표현할 수 있다.
|
NET = Σ 입력 |
|
OUT = f(NET) |
는 뉴런의 반응 여부를 결정하는 역할을 하며, 활성화 함수
(Activation Function) 라고 한다......
일반적인 신경망 모델은 위의 그림과 같으며, 수식적으로 전개하면 다음과 같다. 입력 x 와 연결강도 w 는 다음과 같이 벡터 형태로 표시할 수 있다. 신경망에 있어서는 입출력이 벡터 (vector) 형태이고, 연결강도가 벡터 또는 행렬 (matrix) 형태이므로 벡터 및 행렬의 연산이 필수적으로 요구된다. ................. (오창석 1996)
term :
신경망 (Neural Network) 지도학습 (Supervised Learning) 자율학습 (Unsupervised Learning) 일반화 (Generalization) 귀납법 (Induction) 학습 (Learning)
paper :