뇌의 모델링

뉴로 컴퓨터 : 오창석, 내하출판사, 1996, Page 35~61

1. 뇌의 구조

2. 생물학적 신경망

3. 인공신경망 모델

인간의 두뇌는 계산, 연상, 추론, 기억 등 상당히 복잡한 일들을 수행하지만 디지털 컴퓨터처럼 CPU, 기억장치와 같은 하드웨어적인 소자들이 존재하는 것이 아니라 이러한 모든 작업들이 뉴런들의 결합체인 신경망의 작용에 의해서 이루어진다.

본 절에서는 생물학적 신경망의 구조와 기능을 고려한 기본적인 인공 신경망 모델에 대하여 알아 본다. 이미 언급한 바와 같이 신경망의 기본 소자는 뉴런이다. 뉴런은 입력된 외부 자극을 합하여 그 결과에 따라 반응하는 단순한 기능만을 할 뿐이므로 뉴런의 기능을 그림 1 과 같이 모델링할 수 있다.

그림 1  뉴런의 기능 모델

그림 1 에서 NET 와 OUT 은 각각 입력된 외부 자극의 가중합과 뉴런의 출력을 의미하며, 다음과 같이 표현할 수 있다.

는 뉴런의 반응 여부를 결정하는 역할을 하며, 활성화 함수 (Activation Function) 라고 한다. 활성화 함수에는 여러 가지 형태 (활성화 함수 참조) 가 있지만, 여기서는 단순히 임계치가 T 인 계단 함수라고 가정하면 뉴런의 출력은 다음과 같다.

생물학적 신경망에 있어서 뉴런 단독으로 어떤 기능을 수행하기 보다는 여러 뉴런들이 거미줄처럼 복잡하게 연결되어 서로 상호 작용을 하고 있으므로 신경망은 방향성 그래프를 이용하여 모델링할 수 있으며, 이를 인공 신경망 모델 또는 신경망 모델이라 한다. 신경망 모델의 방향성 그래프에 있어서 노드는 뉴런을 나타내며, 링크는 뉴런간의 시냅스 연결강도를 나타낸다.

일반적인 신경망 모델은 그림 2 와 같으며, 수식적으로 전개하면 다음과 같다. 입력 x 와 연결강도 w 는 다음과 같이 벡터 형태로 표시할 수 있다.

출력 뉴런 y 의 NET 값은 입력 가중합이므로 다음과 같이 구할 수 있다.

                                                            (1)

그림 2  일반적인 신경망 모델

NET 를 벡터 형태로 표현하면 다음과 같다.

                                                                                   (2)

여기서, 는 의 치환 벡터이며, 뉴런 y 의 출력 OUT 은 다음과 같다.

                                                                          (3)

따라서, 계단함수를 활성화 함수로 사용하면 출력 OUT 는 다음과 같다.

결국, 입력 가중합 NET 가 임계치 T 보다 크면 뉴런이 활성화되지만, 그렇지 않으면 활성화되지 않음을 알 수 있다.

뉴런의 활성화에는 외부 입력 뿐만 아니라 편견 (바이어스) 도 작용하므로 이를 고려한 신경망 모델은 그림 3 과 같으며, 수식적으로 전개하면 다음과 같다.

그림 3  바이어스를 포함한 신경망 모델

바이어스를 포함한 입력 와 연결강도 는 다음과 같이 표현할 수 있다.

뉴런 y 의 NET 값은 바이어스를 포함한 입력의 가중합이므로,

                                                             (4)

이며, 벡터 형태로 표현하면 다음과 같다.

                                                                                  (5)

뉴런 y 의 출력 OUT 는 다음과 같다.

                                                                        (6)

4. McCulloch-Pitts 모델

1943 년 W. McCulloch 와 W. Pitts 는 생물학적 뉴런을 단순화한 인공 뉴런 모델을 제시하였다. 이 모델에서는 뉴런간 연결강도를 변화시키는 학습 방법을 사용하지 않고, 연결강도와 임계치를 일정한 값으로 고정시킨 것이 특징이며, AND, OR 등의 논리 연산이 가능하다.

McCulloch-Pitts 모델에서 사용한 가설은 다음과 같다.

1. 뉴런은 활성화되거나 혹은 활성화되지 않은 2 가지 상태이다. 즉, 뉴런의 활성화는 all-or-none 프로세스이다.

2. 뉴런을 활성화시키기 위해서는 잠재기간내에 특정한 갯수의 시냅스가 여기되어야 한다.

3. 신경망 시스템에서의 주된 지연은 시냅스 지연이다.

4. 어떠한 억제성 시냅스라도 여기되면 뉴런은 활성화되지 못한다.

5. 신경망의 구조는 시간에 따라 변하지 않는다.

McCulloch-Pitts 모델의 구조를 그림 1 에 도시하였다. 뉴런은 인접한 여러 뉴런들로부터 신호를 수신하며, 뉴런간의 시냅스 연결강도에는 흥분성과 억제성의 2 가지 유형이 있다.

그림 1  McCulloch-Pitts 모델

연결강도가 인 경우는 뉴런을 흥분시키는 역할을 하므로 흥분성 연결강도라 하며, 연결강도가 인 경우는 뉴런의 활성화를 억제시키는 역할을 하므로 억제성 연결강도라 한다.

그림 1 에서 뉴런 은 연결강도가 이므로 뉴런에 흥분 신호를 전달하지만, 뉴런 은 연결강도가 이므로 뉴런에 억제 신호를 전달한다.

따라서, 뉴런의 가중 입력합 NET 는 다음과 같다.

                                                                  (1)

한편, 가설 4 에 의해 뉴런 중 하나라도 여기된다면 뉴런이 활성화되지 않는 절대 억제성 조건이 만족하려면 임게치 T 는 다음과 같은 부등식이 성립하여야 한다.

                                                                                     (2)

가설 2 에 의해 뉴런이 활성화되기 위해서는 뉴런 중 다음 조건을 만족하는 개 이상의 뉴런이 여기되어야 한다.

                                                                              (3)

가설 1 에 의해 뉴런은 활성화되거나 활성화되지 않는 all-or-none 프로세스이므로 뉴런의 출력 y 는 다음과 같다.

                                                                     (4)

한편, McCulloch-Pitts 모델에서는 가설 3 에서 신경망의 시냅스 지연을 가정하였으며, 이를 이용하여 사람 피부에서 차가운 것과 뜨거운 것을 인지하는 그림 2 과 같은 신경망 모델을 제안하였다.

이 모델에서는 뜨거운 자극과 차가운 자극이 각각 를 통하여 입력되며, 중간 단계의 논리 연산을 거쳐서 최종적으로 뉴런에서 인지하게 된다. 만약, 뉴런이 활성화되면 뜨거움을 느끼지만, 반대로 뉴런이 활성화되면 차가움을 느끼게 된다.

시냅스 지연을 고려할 경우, 각 뉴런의 출력은 다음과 같다.

뜨거움을 인지하는 뉴런을 살펴보자. 뜨거운 자극 이 입력되면 은 활성화되어 당연히 뜨거움을 느끼게 될 뿐 아니라 또한 차가운 자극 에도 관련되어 있다.

반면에 차가움을 인지하는 뉴런은 뜨거운 자극 에는 무관하며, 차가운 자극 가 일정시간 유지되어야만 활성화된다.

실제로 사람의 피부는 아주 짧은 시간 동안에 차가운 자극을 받으면 오히려 뜨겁게 느끼고, 어느 정도의 시간 동안 차가운 자극이 유지되어야만 차가움을 느낄 수 있으므로, McCulloch-Pitts 의 냉열 인지 모델이 타당함을 알 수 있다.

그림 2  피부의 냉열 인지 모델