신경망의 역사 (History of Neural Network)
생물의 신경계를 모방한 인공 뉴런의 탄생부터 퍼셉트론의 흥망성쇠, 오차역전파 부활, 딥러닝 혁명, 그리고 초거대 생성 AI(LLM)와 트랜스포머에 이르는 장대한 진화의 대하 드라마
1. 생물 신경망 모방부터 최신 LLM까지 : 시대별 신경망 발전 대연대표
컴퓨터 또는 기계에 지능을 부여하는 방법은 크게 두 갈래로 나뉩니다. 첫째는 인간의 두뇌 등 생물학적 신경망 작용을 모방하여 적응 학습(Adaptive Learning)을 통해 스스로 지능을 획득하는 신경망·연결주의(Connectionism) 기법이며, 둘째는 인간의 지식을 논리 규칙으로 표현하여 기호(Symbol)를 조작하는 기호주의 AI(Symbolic AI) 기법입니다.
언어 습득 과정을 예로 들면, 기호주의 AI가 문법이라는 명시적 규칙을 하드코딩하여 학습하는 반면, 신경망은 방대한 텍스트 데이터를 반복 관찰하면서 스스로 언어의 내재적 패턴을 학습합니다. 1980년대 옹알이부터 책 읽기를 배운 NETtalk에서 출발하여 오늘날 방대한 인류의 지식을 습득한 GPT-4, Gemini 등 거대 언어 모델(LLM)에 이르기까지 신경망의 발전 역사를 6개 시대로 총정리합니다.
인공신경망의 태동기 (The Genesis of Artificial Neurons)
- 1943년 - 워런 맥컬럭(Warren McCulloch) & 월터 피츠(Walter Pitts) :
생물학적 뉴런의 '전부 아니면 전무(All-or-None)' 발화 작용을 이진 문턱값(Threshold) 논리로 추상화한 최초의 인공 뉴런 모델(MCP 뉴런) 제안. 신경망으로 모든 불리언 논리(AND, OR, NOT)를 계산할 수 있음을 증명. - 1949년 - 도널드 헵(Donald Hebb) :
신경심리학 저서 《행동의 조직(The Organization of Behavior)》에서 시냅스 가소성 가설("Together they fire, together they wire") 제창. 현대 신경망 학습의 모태가 되는 '헵의 학습 법칙(Hebbian Learning)' 확립. - 1958년 - 프랭크 로젠블랫(Frank Rosenblatt) :
입력층과 출력층을 갖고 오차에 따라 가중치를 스스로 갱신하는 퍼셉트론(Perceptron) 발표 및 하드웨어 '마크 1 퍼셉트론' 구현. 인공신경망이 스스로 패턴을 학습할 수 있음을 세계 최초로 증명. - 1960년 - 버나드 위드로(Bernard Widrow) & 테드 호프(Ted Hoff) :
최소평균제곱(LMS) 오차 및 델타 규칙(Delta Rule) 기반의 아달린(ADALINE)과 마달린(MADALINE) 발표. 전화선 적응형 반향 소거 필터 등 상용화에 성공.
제1차 암흑기와 잠복기 (The First AI Winter & Pioneers in the Dark)
- 1969년 - 마빈 민스키(Marvin Minsky) & 시모어 페퍼트(Seymour Papert) :
기념비적 저서 《Perceptrons》 출간. 단층 퍼셉트론은 선형 분리 문제만 해결할 수 있으며, 단순한 배타적 논리합(XOR)조차 해결하지 못함을 수학적으로 엄밀히 증명. 이로 인해 전 세계 신경망 연구비 지원이 전면 중단되고 '제1차 신경망 암흑기' 도래. - 1970년대 - 고독한 개척자들의 연구 :
학계의 외면 속에서도 스티븐 그로스버그(적응 공명 이론, ART), 아마리 슌이치(자기조직화 및 신경장 이론), 테우보 코호넨(연상기억 및 SOM), 후쿠시마 쿠니히코(생체 시각 피질의 수용장을 모방한 코그니트론 및 네오코그니트론, 1980 - 현대 CNN의 직접적 조상) 등이 연구의 끈을 놓지 않고 부활의 기반을 닦음.
연결주의의 화려한 부활과 르네상스 (Connectionist Renaissance)
- 1982년 - 존 홉필드(John Hopfield) :
물리학의 스핀 글래스 에너지 함수를 도입한 홉필드 네트워크(Hopfield Network) 발표. 신경망이 혼돈으로 빠지지 않고 안정한 기억(Local Minima)으로 반드시 수렴함을 수학적으로 증명하여 전 세계 물리학·공학자들을 신경망 연구로 대거 유입시킴. - 1985년 - 제프리 힌튼(Geoffrey Hinton) & 테리 세이노프스키(Terry Sejnowski) :
통계역학의 볼츠만 분포를 적용하여 국소 최솟값 장벽을 극복하는 확률적 신경망 볼츠만 머신(Boltzmann Machine) 발표. - 1986년 - 데이비드 루멜하트, 제프리 힌튼, 로널드 윌리엄스 :
네이처(Nature) 논문을 통해 다층 퍼셉트론(MLP)과 **오차역전파(Error Backpropagation)** 알고리즘을 세상에 천명. 민스키가 제기했던 XOR 문제의 장벽을 완벽하게 무너뜨리며 인공신경망의 폭발적 부흥을 견인. - 1987년 - 테리 세이노프스키의 NETtalk :
신경망이 어린이가 말을 배우듯 텍스트를 발음 기호로 변환하여 유창한 음성을 합성해 내는 NETtalk를 공개하여 대중과 학계에 엄청난 충격을 선사. - 1989년 - 얀 르쿤(Yann LeCun) :
오차역전파를 공간적 가중치 공유(Weight Sharing) 구조에 결합하여 손글씨 우편번호를 인식하는 최초의 실용적 합성곱 신경망(CNN) 개발.
제2차 암흑기와 통계적 기계학습의 득세 (Vanishing Gradient & The Rise of SVM)
- 기울기 소실(Vanishing Gradient)과 다층망의 학습 실패 :
신경망의 층을 깊게 쌓으면 오차 신호가 입력층으로 전달되면서 사라져 버리는 치명적 문제와 극심한 과적합(Overfitting), 그리고 당시 컴퓨터 연산 능력의 한계로 인해 깊은 신경망 연구가 다시 침체기에 봉착. - 통계적 기계학습(SVM, Random Forest)의 대두 :
블라디미르 바프닉의 서포트 벡터 머신(SVM) 등 수학적으로 명확한 전역 최적해를 보장하는 볼록 최적화 기법들이 인공지능 학계를 장악. - 암흑기 속의 중대한 진보 :
- 1997년 : 제프 호크라이터 & 위르겐 슈미트후버가 장기 의존성 문제를 해결한 장단기 메모리(LSTM) 순환신경망 발표.
- 1998년 : 얀 르쿤이 은행 수표 인식을 위한 현대적 CNN 구조의 효시인 LeNet-5 발표.
- 2006년 : 제프리 힌튼 교수가 비지도 사전학습(Pretraining) 기반의 심층 신뢰 신경망(DBN)을 발표하며 '딥러닝(Deep Learning)'이라는 신조어를 공식 제창, 부활의 기틀을 마련.
딥러닝의 대폭발과 인지 혁명 (The Deep Learning Revolution)
- 2012년 - AlexNet의 ImageNet 제패 :
알렉스 크리제브스키, 일리야 수츠케버, 제프리 힌튼이 GPU(엔비디아 그래픽카드) 병렬 연산과 ReLU 활성화 함수, 드롭아웃(Dropout)을 결합한 8층 심층 CNN인 AlexNet으로 ImageNet 대회에서 압도적인 격차로 우승. 전 세계 인공지능 연구의 패러다임이 딥러닝으로 일거에 전환. - 2014년 - 생성적 적대 신경망(GAN) :
이안 굿펠로우(Ian Goodfellow)가 생성자와 판별자가 경쟁하며 극사실적 가짜 이미지를 생성하는 비지도 학습 프레임워크 GAN 발표. - 2015년 - ResNet (잔차 신경망) :
카이밍 허(Kaiming He) 등이 스킵 연결(Skip Connection)을 도입하여 152층 이상의 초심층 신경망도 기울기 소실 없이 학습시킬 수 있음을 입증, 인간의 시각 인지 오류율(약 5%)을 추월. - 2016년 - 알파고(AlphaGo) 쇼크 :
구글 딥마인드(DeepMind)가 심층 합성곱 신경망, 가치망/정책망, 그리고 심층 강화학습(Deep RL)과 몬테카를로 트리 탐색(MCTS)을 융합한 알파고로 세계 바둑 챔피언 이세돌 9단을 4:1로 격파하며 인류에게 충격을 안김.
트랜스포머와 초거대 언어 모델(LLM)의 시대 (Transformers & Foundation Models)
- 2017년 - 트랜스포머(Transformer)의 탄생 :
구글 브레인(Ashish Vaswani 등)이 "Attention Is All You Need" 논문 발표. 기존 순환신경망(RNN/LSTM)의 순차 처리 한계를 완전히 제거하고, 문장 전체 토큰 간의 상관관계를 일시에 계산하는 **셀프 어텐션(Self-Attention)**을 도입하여 대규모 병렬 학습의 지평을 엶. - 2018년 - 사전학습 언어모델의 양대 산맥 :
- 구글의 BERT : 트랜스포머 인코더 기반 양방향 마스크 언어모델로 자연어 이해(NLU) 분야 신기록 달성.
- OpenAI의 GPT-1 / GPT-2 : 트랜스포머 디코더 기반 자기회귀(Autoregressive) 생성 모델로 자연어 생성의 잠재력 입증. - 2020년 - 스케일링 법칙(Scaling Law)과 GPT-3 :
OpenAI가 1,750억 개의 매개변수를 가진 GPT-3를 공개. 모델의 크기, 데이터양, 컴퓨팅을 늘리면 미세조정(Fine-tuning) 없이도 몇 가지 예시만으로 문제를 푸는 퓨샷 학습(Few-Shot Learning)과 창발적 지능(Emergent Abilities)이 발현됨을 입증. - 2022년 - ChatGPT와 RLHF의 대중화 혁명 :
인간 피드백 기반 강화학습(RLHF: Reinforcement Learning from Human Feedback)을 적용하여 인간의 지시를 정교하게 따르는 ChatGPT (GPT-3.5) 출시. 역사상 가장 빠르게 1억 사용자를 돌파하며 범용 인공지능(AGI) 시대를 촉발. - 2023년 ~ 2026년 - 멀티모달, 장문 문맥 및 추론(Reasoning) 모델 :
- 텍스트를 넘어 이미지, 오디오, 비디오를 한꺼번에 이해하고 생성하는 GPT-4 Omni, Claude 3.5 Sonnet, Gemini 1.5/2.0 Pro의 등장.
- 메타(Meta)의 오픈소스 LLM 생태계를 주도한 LLaMA 시리즈.
- 단순 다음 단어 예측을 넘어 수학·코딩 등 복잡한 다단계 논리 추론을 수행하는 사고의 연쇄(Chain-of-Thought) 기반 OpenAI o1 / o3 등 새로운 신경망 패러다임으로 진화 중.
2. 신경망의 유년기 (The Infancy of Neural Networks : 1943 ~ 1960s)
근대 신경망에 관한 연구는 1943년 워렌 맥쿨로치 (Warren McCulloch) 와 월터 피츠 (Walter Pitts) 의 기념비적 논문인 <A logical calculus of ideas immanent in nervous activity> 로부터 시작되었습니다. 각 신경세포 (neuron) 의 기능은 매우 단순하나, 이들이 상호 연결됨으로써 복잡한 계산을 수행하는 신경 시스템의 기초를 마련한 이 논문에서, 현대 컴퓨터의 기반을 이루는 모든 Boolean 논리 표현은 2진 출력을 갖는 맥클로치 - 피츠 신경세포로 구현 가능함을 보여 주었습니다.
우리의 두뇌 작용이 각각의 신경세포의 기능에 의한 것이 아니라, 이들이 상호간에 어떻게 연결되어 있느냐, 특히 신경세포 사이의 연결세기 (synapse) 에 의한 것이라는 연결주의 (connectionism), 즉 신경망 (neural networks) 의 연구는 1949년 심리학자 도널드 헵 (Donald Hebb) 의 가설로 새로운 계기를 맞게 됩니다. 헵은 《The Organization of Behavior》라는 책에서, 신경 시스템은 기존의 synapse 를 이용하여 synapse 를 스스로 재구성하며, 그 구체적 재구성 방법으로 '신경세포 A 가 계속적으로 신경세포 B 의 활성화에 기여한다면 신경세포 A 와 B 사이의 synapse 는 증가된다.' 라는 가설을 제시하였습니다. '헵의 학습법칙' 으로 불리우는 이 신경 시스템의 구성법칙은 이 후 많은 신경망 연구에 영향을 끼쳐, 현재 많은 신경망 모델의 학습이 이에 직접 또는 간접으로 기초하고 있습니다.
초기 신경망 연구는 컴퓨터 과학자 프랭크 로젠블래트 (Frank Rosenblatt) 에 의해 꽃피기 시작하였습니다. Rosenblatt는, 1958년 발표된 <The perceptron : a probabilistic model for information storage and organization in the brain> 이라는 논문과 1962년에 발표된 《Principles of Neurodynamics》라는 책에서, 신경세포와 유사한 단순 계산기능을 갖는 요소로 구성된 입력층과 출력층을 갖는 perceptron 이라는 신경 시스템의 모델을 제시하고, 입력과 출력 사이의 synapse 를 출력층의 제곱오차가 최소가 되는 방법으로 학습시킬 수 있음을 보여 주었습니다. 1960년 전기공학자 버나드 위드로 (Bernard Widrow) 와 마시안 호프 (Marcian Hoff) 는 <Adaptive switching circuits> 라는 논문에서 perceptron 모델의 선형화와 유사한 위드로 - 호프 모델(ADALINE)을 제안하였습니다.
3. 신경망의 암흑기와 XOR 문제 (The Dark Age & The XOR Dilemma)
그러나 어린 신경망 꽃은 활짝 피기도 전에 된서리를 맞게 됩니다. 1969년 Marvin Minsky 와 Seymour Papert 는 《Perceptrons》라는 책을 발표하였는데, 이 책에서 perceptron 모델이 선형분리 기능밖에 없고 많은 실제 문제를 해결하지 못한다는 것을 수학적으로 증명하였습니다. 한 예로, 2 개의 2 진 패턴을 2 개의 종류로 분류하는 문제 중 2 개가 같은 것을 한 종류 (B) 로, 다른 것을 2 번째 종류 (A) 로 분류하는 XOR 문제는 2 차원 공간에서 최소 2 개의 직선 경계가 필요하고 한 개의 직선으로 경계를 만들 수 없으므로 단층 perceptron 으로는 해결하지 못합니다.
이러한 perceptron 모델의 한계성은 신경망 연구열을 급속히 냉각시키고, 향후 10여년간 지능구현의 연구가 대부분 Minsky에 의해 주도된 특징 추출과 프로그램에 의한 기호주의 AI 로 흐르게 되었습니다. Rosenblatt는 어느 날 바다에 나가 의문의 죽음을 맞고, 신경망 연구는 기나긴 암흑기를 맞게 됩니다. 앞의 백설공주 이야기가 더욱 흥미를 끄는 것은, 두 주인공 Rosenblatt 와 Minsky 가 당시의 명문교인 브롱크스 (Bronx) 과학고등학교의 동기동창이란 점입니다.
4. 신경망의 부활기 (The Renaissance of Neural Networks : 1980s)
1982년 칼텍 (Caltech) 의 존 홉필드(John Hopfield) 는 신경망의 부활을 알리는 나팔을 불었습니다. 많은 뜻있는 연구자들이 새로운 시대를 준비하는 대열에 참가하여, 1980년대는 신경망의 부활기로 자리잡게 되었습니다. 사실 홉필드의 1982년 논문 <Neural networks and physical systems with emergent computational abilities> 나 이의 연속함수형 변형인 1984년의 논문이 학문적으로 완전히 새로운 것만은 아닙니다. 이들 논문이 그 전까지 수학자나 심리학자 등에 의해 이론 연구에 치우쳐 왔던 신경망 연구를 공학적 관점에서 접근할 수 있는 계기를 마련하였다는 데 더 큰 의의가 있습니다.
그 후, 신경망은 이론뿐만이 아니고 광이나 전기적 VLSI를 이용한 하드웨어 구현, 음성인식이나 문자인식, 최적화 등 응용문제의 연구가 활발히 진행되기 시작하였습니다. 책을 읽도록 학습시키는 NETtalk 나 음파탐지기의 반사신호로부터 기뢰와 바위를 구분해내는 표적인식 등의 성공은 신경망 분야의 대대적인 연구지원을 이끌어냈습니다.
1980년대 신경망 부활과 급성장의 5가지 핵심 이유
Minsky와 Papert에 의해 단층 퍼셉트론이 풀 수 없다고 증명된 XOR 등 일반적인 패턴 분류를 다층 퍼셉트론(MLP)이 완벽히 해결할 수 있음을 증명하고, 이를 오차역전파 학습법칙으로 훈련시킬 수 있게 되었습니다.
급속히 발달한 컴퓨터가 대규모 신경망 시뮬레이션을 비교적 빠른 시간 내에 수행할 수 있게 되었습니다. 컴퓨터의 발전 없이는 학습 시간이 오래 걸리기로 유명한 error backpropagation 학습법칙은 무용지물이 되었을 것입니다.
뇌과학과 신경생리학의 발달로 대뇌 피질의 계층 구조, 시냅스 전달 기전 등 생체 두뇌로부터 더 많은 원리를 공학적으로 모방하고 배울 수 있게 되었습니다.
신경망의 본질적 장점인 대규모 병렬 분산 처리를 물리적으로 구현하는 신경망 전용 칩과 가속 하드웨어의 등장이 큰 활력소가 되었습니다.
전문가 시스템이 비교적 단순한 문제에서는 성공을 거두었으나, 복잡한 현실 세계에서는 전문가조차 자신의 직관적 판단 법칙을 언어로 명확히 규칙화할 수 없었습니다. 또한 환경이 바뀌면 모든 규칙을 처음부터 다시 코딩해야 하므로 적응력이 없었습니다. 따라서 자율 적응 학습 능력과 대규모 병렬성을 갖춘 신경망이 대안으로 급부상하게 되었습니다.
5. 한국의 신경망 연구 역사 (History of Neural Networks in Korea)
한국에서 현대적 신경망이 연구되기 시작한 것은, 1986년 가을 한국과학기술원(KAIST) 전기 및 전자공학과에서 신경망의 광학적 구현이 연구되기 시작한 것이 최초입니다. 이후 국내 연구자들의 신경망 분야로의 관심 증대와 해외에서 수학한 연구자들의 귀국으로 인해 신경망 연구가 활발히 진행되어 포항공대, 경북대, 연세대, 서울대, 충남대, 인하대 등 대학과 전자통신연구소(ETRI), 시스템공학연구소(SERI), 한국통신 연구개발단 등 국가 연구소에서 연구가 활발히 진행되었습니다.
1988년 여름에는 30여 명의 교수 및 연구원이 참여한 가운데 신경망 연구회가 발족하였고, 매년 정기총회에는 150명 이상이 참여하는 수준에 이르렀습니다. 1990년 이후에는 한국통신학회, 대한전자공학회, 한국정보과학회 등 유관 학회에 신경망 관련 분과가 형성되었고, 국제신경망학회 한국지부(SIGINNS-Korea)도 결성되었습니다. ............ (신경망의 역사적 고찰 : KAIST 뇌과학연구센타 이수영 교수)
"Connectionism -- within cognitive science -- is a theory of information processing. Unlike classical systems which use explicit, often logical, rules arranged in an hierarchy to manipulate symbols in a serial manner, however, connectionist systems rely on parallel processing of sub-symbols, using statistical properties instead of logical rules to transform information. Connectionists base their models upon the known neurophysiology of the brain and attempt to incorporate those functional properties thought to be required for cognition. ... The processing units may refer to neurons, mathematical functions, or even demons à la Selfridge."
6. 딥러닝 혁명과 현대 초거대 언어 모델(LLM)의 이론적 진화
(1) 딥러닝 혁명의 도화선 : ImageNet과 AlexNet (2012)
1990년대의 긴 제2차 암흑기를 지나 2006년 제프리 힌튼 교수의 심층 신뢰망(DBN) 제안으로 재점화된 신경망은 2012년 **AlexNet**의 등장으로 역사상 최대의 전환점을 맞이합니다. GPU 병렬 가속, 수백만 장의 ImageNet 빅데이터, 그리고 기울기 소실을 극복한 비선형 **ReLU 활성화 함수**의 조합은 기존 컴퓨터 비전 기술의 인식 오류율을 단숨에 10%p 이상 격하시키며 인공지능 학계를 완전히 평정하였습니다.
(2) 언어 모델의 패러다임 시프트 : RNN/LSTM에서 트랜스포머(Transformer)로 (2017)
인간의 언어를 처리하기 위해 1990년대부터 연구되어 온 순환신경망(RNN)과 장단기 메모리(LSTM)는 단어를 시계열 순서대로 한 번에 하나씩 처리해야 하는 본질적 한계(순차 처리 병목)로 인해 병렬 컴퓨팅을 활용할 수 없었고 긴 문맥에서 앞선 정보를 잊어버리는 장기 의존성(Long-term Dependency) 문제에 시달렸습니다.
구글 브레인이 발표한 트랜스포머(Transformer)는 순환(Recurrence) 구조를 과감히 폐기하고, 문장 내의 모든 토큰 간의 상호 연관도를 병렬 행렬곱으로 한 번에 계산하는 **셀프 어텐션(Self-Attention)** 메커니즘을 전면에 내세웠습니다. 이는 대규모 GPU 클러스터에서 인터넷 상의 수조 개 토큰을 초고속으로 동시 학습할 수 있는 길을 열어주었습니다.
(3) 초거대 파운데이션 모델과 스케일링 법칙 (Scaling Law)
트랜스포머 아키텍처의 확립 이후, OpenAI는 **GPT 시리즈(GPT-1, GPT-2, GPT-3)**를, 구글은 **BERT**와 **T5**를 잇달아 선보였습니다. 2020년 발표된 1,750억 파라미터의 GPT-3는 "모델의 크기(Parameters), 학습 데이터양(Dataset Size), 학습 연산량(Compute)을 함께 늘리면 성능이 지수적 법칙(Power-Law)을 따르며 향상된다"는 스케일링 법칙(Scaling Law)을 실증적으로 증명하였습니다.
단순히 다음 단어를 맞추도록 사전학습(Pre-training)되었을 뿐인 거대 모델이 특정 임계 규모를 넘어서면 코딩, 번역, 논리 퍼즐, 수식 증명 등 가르치지 않은 복잡한 과제를 자율적으로 해결하는 지능의 창발을 보였습니다.
초기 언어 모델의 유해 발언, 환각(Hallucination), 제멋대로의 생성을 제어하기 위해 인간의 가치관과 지시를 따르도록 보상 모델을 구축하고 강화학습을 적용하는 RLHF 기법이 완성되어 ChatGPT가 탄생했습니다.
최신 모델들(OpenAI o1 등)은 즉답을 내놓는 대신 인간처럼 중간 생각 단계(Hidden CoT)를 내부적으로 추론하고 검증하는 심층 추론(Reasoning) 신경망으로 진화하여 수학·과학 올림피아드 수준의 문제를 해결하고 있습니다.