다층 퍼셉트론 (Multilayer Perceptron, MLP)
입력층과 출력층 사이에 하나 이상의 은닉층(Hidden Layer)과 비선형 활성화 함수를 도입하여, 단층 퍼셉트론의 선형 분리 한계를 극복하고 복잡한 임의의 비선형 패턴을 완벽히 근사하는 신경망 구조
1. 다층 퍼셉트론(MLP)이 신경망에서 갖는 의미, 핵심 기능 및 실제 활용 예
다층 퍼셉트론 (Multilayer Perceptron, MLP)은 인공신경망의 역사와 현대 딥러닝에서 가장 핵심적인 전환점을 마련한 표준 신경망 모델입니다. 1958년 프랑크 로젠블랫(Frank Rosenblatt)이 제안한 단층 퍼셉트론 (Perceptron)은 입력층과 출력층만으로 구성되어 선형으로 분리 가능한(Linearly Separable) 문제만 해결할 수 있었습니다. 그러나 다층 퍼셉트론은 은닉층(Hidden Layer)과 비선형 활성화 함수(Nonlinear Activation Function)를 결합함으로써 이 치명적인 한계를 완벽히 돌파했습니다.
💡 1) XOR 문제 극복과 연결주의의 부활
1969년 민스키(Marvin Minsky)와 페퍼트(Seymour Papert)는 단층 퍼셉트론이 아주 단순한 배타적 논리합(XOR) 문제조차 풀 수 없음을 수학적으로 증명하며 10여 년간의 AI 암흑기(AI Winter)를 초래했습니다. 다층 퍼셉트론은 은닉층을 통해 입력 공간을 새로운 특징 공간(Feature Space)으로 비선형 변환함으로써 XOR 문제를 손쉽게 해결하고 연결주의 신경망 연구의 르네상스를 열었습니다.
📐 2) 보편 근사 정리 (Universal Approximation)
시벤코(Cybenko, 1989)와 호닉(Hornik et al., 1989)은 보편 근사 정리(Universal Approximation Theorem)를 통해, 적절한 비선형 활성화 함수를 가진 단 하나의 은닉층만으로도 다층 퍼셉트론은 임의의 연속 함수(Continuous Function)를 원하는 정밀도로 모두 근사할 수 있음을 수학적으로 엄밀히 입증했습니다. 이는 MLP가 범용적인 함수 근사기(Universal Function Approximator)임을 의미합니다.
🚀 3) 심층 딥러닝(Deep Learning)의 토대
은닉층을 2개, 3개, 그리고 수십~수백 개로 깊게 쌓아 올린 심층 신경망(Deep Neural Network, DNN)의 기본 골격이 바로 다층 퍼셉트론입니다. 계층이 깊어질수록 저수준 특징(점, 선)에서 고수준 특징(형상, 객체, 개념)으로 이어지는 계층적 표현 학습(Hierarchical Representation Learning)이 가능해지며 현대 딥러닝 혁명의 모태가 되었습니다.
⚙️ 다층 퍼셉트론의 핵심 기능과 작동 원리
원시 입력 데이터를 은닉층 뉴런들이 비선형 조합하여, 원래의 입력 공간에서는 얽혀 있던 복잡한 결정 경계를 고차원 특징 공간에서 선형 분리가 가능한 형태로 매핑합니다.
가중합 연산(z = Wx + b) 뒤에 시그모이드, Tanh, ReLU 등의 비선형 함수를 반드시 결합합니다. 만약 선형 함수만 쓴다면 아무리 층을 깊게 쌓아도 수학적으로 단층 퍼셉트론과 완전히 동일해집니다.
역전파 (Back-propagation) 알고리즘을 결합하여, 출력층에서 발생한 오차를 은닉층 각 뉴런의 연결강도로 거꾸로 배분하고 경사하강법으로 전체 네트워크의 가중치를 자동 최적화합니다.
📌 다층 퍼셉트론의 대표적 활용 분야 및 실제 적용 예
1. 패턴 인식, 컴퓨터 비전 및 통계적 모델링
- 문서 및 필기체 인식 (MNIST): 손글씨 숫자의 픽셀 배열을 입력받아 0~9까지의 숫자를 자동으로 분류하는 초기 컴퓨터 비전의 표준 모델.
- 얼굴 이미지 검색 및 생체 인식: 얼굴의 특징 벡터를 다층 신경망에 통과시켜 인물을 식별하고 검색하는 연구(박철웅 외 1999).
- 비선형 통계 확률 계산 및 회귀: 복잡한 수학적 비중심 F 분포 확률 계산(구선희 2002), 금융 주가 및 환율 예측, 경기 변동 추정.
2. 현대 인공지능 및 거대 AI 모델의 핵심 부품
- 정형 데이터 분류 및 회귀 (Tabular Data): 고객 이탈 예측, 신용 카드 사기 검출, 의료 진단, 대출 심사 등 산업 전반의 기본 AI 엔진.
- CNN의 최종 분류 헤드 (Fully Connected Layers): 합성곱 신경망이 이미지에서 특징 맵을 추출한 후 최종 클래스를 판별하는 완전 연결층(FC Layer)이 바로 MLP입니다.
- 트랜스포머(Transformer/LLM)의 피드포워드 블록 (FFN): GPT-4, Claude, BERT 등 최신 거대언어모델 내부의 각 어텐션 블록마다 Position-wise Feed-Forward Network(MLP 구조)가 필수적으로 배치되어 지식을 기억하고 표현합니다.
2. 다층 퍼셉트론의 구조와 계층적 특성
Multilayer perceptron은 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망으로 다음 그림에 나타낸 것과 같은 계층구조를 갖습니다. 이 때 입력층과 출력층 사이의 중간층을 은닉층 (hidden layer)이라 부릅니다.
네트워크는 입력층, 은닉층, 출력층 방향으로 연결되어 있으며, 각 층 내의 연결과 출력층에서 입력층으로의 직접적인 연결은 존재하지 않는 전방향 (Feedforward) 네트워크입니다.
Multilayer perceptron은 단층 perceptron과 유사한 구조를 가지고 있지만 중간층과 각 unit의 입출력 특성을 비선형으로 함으로써 네트워크의 능력을 향상시켜 단층 퍼셉트론 (Perceptron)의 여러 가지 단점들을 극복했습니다.
Multilayer perceptron은 층의 갯수가 증가할수록 perceptron이 형성하는 결정 구역의 특성은 더욱 고급화됩니다. 즉,
- 단층인 경우: 패턴 공간을 두 구역으로 나누어주는 단순 초평면(Hyperplane)을 형성합니다.
- 2층인 경우: 볼록한 (convex) 개구역 또는 오목한 폐구역을 형성합니다.
- 3층인 경우: 이론상 어떠한 형태의 복잡한 구역도 형성할 수 있습니다.
3. 비선형 활성화 함수와 역전파(Backpropagation) 학습
지금까지는 주로 계단형 (hard limiting)의 비선형 (nonlinear) 활성함수를 사용하고 출력 unit가 하나인 multilayer perceptron에 대하여 논의하였는데, 이와 비슷한 결과가 시그모이드 비선형 활성함수를 적용한 한 개 이상의 출력 unit를 가진 네트워크에도 나타납니다.
시그모이드 비선형 활성함수를 적용할 경우 결정 영역이 통상 직선이 아닌 완만한 곡선으로 경계지워지므로 행위의 분석이 약간 복잡하지만, 미분이 가능하므로 오히려 은닉층을 학습할 수 있는 Backpropagation 학습 알고리즘을 수행할 수 있습니다. 대부분의 multilayer perceptron은 역전파 (Back-propagation) 학습 알고리즘을 사용하여 효과적으로 학습시킬 수 있습니다.
일반적인 multilayer perceptron의 학습방법은 다음과 같습니다:
입력층의 각 unit에 입력 데이터를 제시하면 이 신호는 각 unit에서 변환되어 중간층에 전달되고 최종적으로 출력층으로 나오게 됩니다. 이 출력값과 원하는 출력값을 비교하여 그 차이를 감소시키는 방향으로 연결강도를 조정하는 것입니다.
그러나 중간층이 있으면 학습은 어려워집니다. 왜냐하면 어떤 연결강도가 오차를 유발시키는지 직접 알 수 없기 때문입니다 (신용 할당 문제, Credit Assignment Problem). ............. (김대수 1992)
이 은닉층의 오차 기여도를 연쇄 법칙(Chain Rule)으로 완벽히 역전파하여 가중치를 갱신하는 해법이 바로 역전파 (Back-propagation) 알고리즘입니다.
4. 층수에 따른 결정 구역의 특성 (XOR 및 Mesh 구역 문제)
단층, 2층, 3층 perceptron들의 구조와 결정 구역을 나타내었습니다. 이 그림에서 두 번째 열은 각 네트워크가 형성하는 결정 구역을 나타내고 다음 두 개의 열은 Exclusive-OR (XOR)와 Mesh 구역 문제에 대한 결정 구역을 예시합니다. 그리고 맨 오른쪽 열은 일반적인 결정 구역을 예시합니다 ............. (다층인식자)
- 단층 퍼셉트론 (Single Layer): 선형 초평면(Half-plane)으로 공간을 양분하므로, 비선형적인 XOR 문제나 메시(Mesh) 문제를 결코 분리할 수 없습니다.
- 2층 퍼셉트론 (Two Layer): 여러 개의 초평면을 조합하여 볼록 다각형(Convex Hull) 형태의 결정 영역을 만들어 XOR 문제를 성공적으로 해결합니다.
- 3층 퍼셉트론 (Three Layer): 여러 개의 볼록 영역을 조합하여 오목하거나 구멍이 뚫린 형태, 복잡하게 분산된 메시(Mesh) 형태 등 임의의 복잡한 비선형 결정 영역을 제한 없이 형성할 수 있습니다.
5. 관련 용어 (Terms), 연구 논문 (Papers) 및 관련 사이트 (Sites)
🏷️ 관련 용어 (Terms)
📄 연구 논문 (Papers)
- 다층 퍼셉트론 : 김대수
- 다층 신경망 (Multilayer Neural Network) : 오창석
- 다층신경망을 이용한 얼굴검색 알고리즘 (The Facial Image Searching Algorithm using Multi-Layer Neural Networks) : 박철웅, 이인범, 이병용, 박수봉, 한국멀티미디어학회, 1999
- 다층 신경망을 이용한 비중심 F 분포 확률계산 (Computation of Noncentral F Probabilities using multilayer neural network) : 구선희, 한국정보처리학회, 2002