Learning in Neural Network
학습 (Learning) 이란 비단 학교에서의 공부뿐만 아니라 젓가락질을 배운다든지, 신발끈을 맨다든지, 혹은 자전거 타는 것이나 운전을 배우는 것 등 다양한 것을 포함한다. 이렇게 우리는 지식과 여러 가지 기술들을 습득하고 경험을 통해 유지해 나간다. 학습을 정의하자면 "경험을 통하여 얻어지는 행동과 지식에서의 비교적 영속적인 변화"라고 할 수 있다.
인간이 어떤 일을 하기 위해서는 반복 학습이 이루어져야 하듯이 신경망 (Neural Network) 도 역시 응용 분야에 활용하기 위해서는 신경망의 학습이 선행되어야 한다. 신경망에서의 학습이라 함은 특정한 응용 목적에 적합하도록 뉴런간의 연결강도를 적응시키는 과정이다 (weight update). 신경망의 학습 방법은 다음과 같이 크게 3 가지로 구분할 수 있다. 지도 학습 (supervised learning), 자율학습 (Unsupervised Learning), 경쟁식 학습 (competitive learning) 이 그것이다.
1949년 캐나다의 생리, 심리학자인 Donald Hebb 는 인간 두뇌의 작용은 개별 신경세포 (Neuron) 에 의해서 이루어 지는 것이 아니라, 그들간의 연결강도로 정해진다는 연결주의 (Connectionism) 를 주창하여, 우리의 두뇌가 신경망으로 활동하고 있음을 설명하였다 ......... 헵의 학습 규칙 (Hebbian learning rule) 은 가장 오래되고 단순한 형태의 학습 규칙이다. 이 규칙은 만약 시냅스 (Synapse) 양쪽의 뉴런이 동시에 또 반복적으로 활성화되었다면 그 두 뉴런 사이의 연결강도가 강화된다는 관찰에 근거한다 ........ 헵의 학습 규칙은 나중에 개발된 다른 신경망 모델들의 학습 규칙의 토대가 된다 ........ 1988 년 T. McClelland 와 D. Rumelhart 에 의해 확장된 학습 방법으로 순방향 신경망에만 적용될 수 있으며, 이진 또는 연속 활성화 함수가 사용될 수 있다. 초기 연결 강도는 모두 0 에 가까운 작은 값으로 하며, 학습 신호로서 출력을 사용하는 점이 특징이다.
다층 신경망의 학습은 단층 신경망의 경우와는 달리 일반적으로 상당히 긴 학습 시간이 요구되며, 심지어 어떤 경우에는 학습이 이루어지지 않을 수도 있다. 따라서, 다층 신경망을 빠르고 올바르게 학습시키기 위해서는 초기 연결강도, 신경망의 구조 (입력층, 은닉층, 출력층의 뉴런수, 은닉층의 갯수), 학습율, 학습패턴 등 학습에 영향을 미치는 여러 가지 학습 인자 (Parameter) 를 고려하여 결정하여야 한다.
퍼셉트론 (Perceptron) 학습법은 1958년 Frank Rosenblatt 가 제안한 학습 방법으로 이진 또는 연속 활성화 함수가 사용될 수 있다. 초기 연결강도는 임의의 값으로 할 수 있으며, 학습 신호로써 목표치 d 와 실제 출력 y 의 차이 즉, 오차를 사용하는 점이 특징이다. LMS (Least Mean Square) 학습법은 1962 년 Bernard Widrow 가 제안한 방법으로 항등 함수를 활성화 함수로 사용한다. 델타 학습법 (Delta Learning) 은 1986 년 T. McClelland 와 David Rumelhart 가 제안한 학습 방법으로 연속 활성화 함수만을 사용한다. 학습 신호로서 목표치 d 와 실제 출력 y 의 차이 뿐만 아니라 활성화 함수의 미분값이 사용되는 점이 특징이다.
주로 사용되는 경쟁식 학습법 (Competitive Learning) 에는 1987 년 Robert Hecht-Nielsen 이 제안한 instar 학습법과 1974 년 S. Grossberg 가 제안한 outstar 학습법 등이 있다.