1957 년 Frank Rosenblatt 이 Cornell Aeronautical Lab에서 개발했다. 그것은 한개이상의 층 (layer) 을 가진 인공 신경세포 (Neuron) 으로 구성된다. 입력은 일련의 가중치를 통해 출력으로 직접 전달되며, 그것은 가장 간단한 종류의 피드포워드 (Feedforward) network 으로 고려될 수 있다. 각 노드에서 가중치와 입력을 곱한 것을 합하고, 그 값이 threshold (보통 0) 보다 크면 뉴런은 실행 (fire) 하고 값 1 을 취하고 그렇지 않으면 값 -1 을 취한다.
이런 종류의 활성화 함수 (Activation Function) 를 가지는 인공뉴런들은 맥컬럭-피츠 (McCulloch-Pitts) neurons 또는 threshold neurons 이라고도 불리운다. Perceptron 이라는 문자는 때때로 이러한 유닛중의 하나로서 구성되는 network 으로서 언급된다. Perceptron 은 보통 delta-rule 이라고 불리는 단순한 학습 알고리즘으로 훈련될 수 있다. 그것은 계산된 출력과 샘플 출력 데이터 사이의 에러를 계산하고, 그것을 가중치를 조정하는데 사용하며, 기울기 하강 (Gradient Descent) 의 형태를 구현하게 된다.
Perceptron 이 처음에는 가능성있는 것으로 보였지만, 곧 simple perceptron 은 여러 단계의 패턴들을 인식하도록 훈련할 수 없다는 것이 증명되었다. 이것은 신경망 (Neural Network) 연구를 수년동안 정체하게 만들었으며, 그 후에 3 개 또는 그 이상의 layer 를 가진 신경망이 simple perceptron 보다 훨씬 더 강력한 power 를 가진다는 것이 인식되었다. 즉 하나나 두 개의 layer 를 가진 simple perceptron 은 선형 분리가능한 패턴만을 학습할 수 있다는 것이다. 1969 년에 Marvin Minsky 와 Seymour Papert 에 의한 '퍼셉트론즈(Perceptrons)' 라는 유명한 논문에서 XOR 함수를 학습시키는 것이 불가능하다는 것을 보였다. 그들은 3 개 또는 그 이상의 layer 를 가지는 perceptron 도 유사한 결과를 낳을 것이라고 추측하였다.
multi-layer 신경망 (다층 퍼셉트론 (Multilayer Perceptron)) 은 실제로는 이러한 문제들을 가지지 않는다는 것이 1980 연대에 발견되었고, 그것으로 신경망 연구가 다시 부활하게 되었다. ....... (Wikipedia : Perceptron)
1957년 미국의 Frank Rosenblatt 에 의해 발명된 퍼셉트론은 처음 소개되었을 때 상당한 센세이션을 불러일으켰다. 퍼셉트론은 비교적 정확히 기술된, 계산에 의한 최초의 신경망 모델이었으며 여러 분야에 걸쳐 커다란 영향을 끼쳤다. 로젠블릿은 원래 심리학자였으며 퍼셉트론은 그러한 심리학적인 요구에 부응하는 것이었다. 또한 퍼셉트론이 잠재적으로 복잡한 적응행위를 할 수 있는 학습 (Learning) 머신이라는 점은 엔지니어들에게는 매우 매력적인 것이었다 ............ 그가 기술한 퍼셉트론 모델은 매우 복잡했다. 퍼셉트론, 그리고 그것과 유사한 모델들은 분석하기가 매우 어려웠으나 학습 머신으로서의 능력과 제한점에 대한 통찰력을 제공해 주었다. 퍼셉트론 이후의 연구 개발은 대부분 엔지니어와 물리학자들에 의해 진행되었다 .......... 그러나 그의 중요한 논문[ "Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms", by Frank Rosenblatt, 1962. ]은 읽기가 매우 어려웠다. 퍼셉트론에 대한 분석 또한 쉽지 않았다. 여러 가지 옵션과 변수와 학습 규칙들이 제대로 정리되지 않은 채 소개되어 이해에 상당한 혼란을 주었다 .......... 로젠블럿의 퍼셉트론 이후 신경망이 무엇이든지 할 수 있는 듯이 보였던 시절이 있었다. 수백개의 알고리즘이 제시되었고, 학습 머신에 대한 관심과 열기가 대단하였다. 그러나 1969년에 출판된 Minsky 와 Papert 에 의한 'Perceptrons' 란 저서가 출간되고부터 신경망 연구에 대한 열기는 급격히 냉각되었다. 퍼셉트론즈는 퍼셉트론 모델에 대해 철저한 분석을 하였으며 또한 퍼셉트론 모델의 한계성에 대해서도 논리 정연하게 파해쳤다 ....... 퍼셉트론즈는 주어진 데이터의 선형 분리 문제도 해결할 수 없다는 등의 퍼셉트론 모델의 제한점에 관하여 예리하게 분석하였다. 특히 단층 퍼셉트론은 선형 분리의 단순한 예인 XOR 문제도 해결할 수 없었다. 민스키와 파퍼트는 퍼셉트론 모델들의 계산적인 제한점들에 관한 연구를 수학과 계산 이론에 입각하여 증명하였다 ......... 그러나 이 퍼셉트론 모델은 나중에 역전파 (Back-propagation) 모델과 같은 다층 퍼셉트론 모델의 기반이 되어 문자인식을 비롯한 여러 분야에 폭넓게 응용되었으며 신경망 연구의 새로운 장을 열게 된 결정적인 계기가 되었기에 이 퍼셉트론의 기여는 매우 크다고 할 수 있다. ...... (김대수 1992)
단층 퍼셉트론의 구조
term :
신경망 (Neural Network) 퍼셉트론 (Perceptron) 다층 퍼셉트론 (Multilayer Perceptron) 지도학습 (Supervised Learning)
paper :
Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386-408.
Minsky M L and Papert S A 1969 Perceptrons (Cambridge, MA: MIT Press)
Widrow, B., Lehr, M.A., "30 years of Adaptive Neural Networks: Peceptron, Madaline, and Backpropagation," Proc. IEEE, vol 78, no 9, pp. 1415-1442, (1990).
퍼셉트론 내의 학습 : Philip N. Johnson-Laird
Perceptron : 아마리 슝이찌
Review of Perceptrons : Stephen Grossberg : AAAI, 1989
site :
Perceptron Learning Applet : 퍼셉트론 학습 알고리즘이란 이름을 가진 지도학습 (Supervised Learning) 의 단순한 형태를 시연하는 applet 이다. 이 applet에서 퍼셉트론을 훈련시켜 이진 논리회로로 작용하도록 할 수 있다. 대분분의 2-input Boolean functions 를 계산하거나 근사치를 구할 수 있다. AND, OR 등등의 출력 Y 를 조정하여 선형분리하는 과정을 볼 수 있다. 활성화 함수를 바꿔 가면서 train 할 수 있는데, sigmoid 함수에서 가장 정확하게 분리되는 것을 볼 수 있다. 그러나 XOR (or XNOR) 함수에서 퍼셉트론을 훈련시킬 때는 문제가 발생한다. 이 applet 에서는 extra input을 소개하여 그 문제를 위한 작업 (work-around) 를 제공한다 (solve XOR을 선택하고서 Y 는 0,1,1,0을 선택하고서 train). ........