▪ 공상과학의 꿈과 컴퓨터가 자연어를 이해하는 6단계 과정
공상 과학이 즐겨 다루는 대상은, <2001년 우주 오디세이>에서의 HAL 9000과 같이 사악하든, 또는 <스타워즈>의 C-3PO처럼 유능하든, 인간의 말을 완벽히 알아듣고 자유롭게 대화하는 컴퓨터나 로봇입니다. 인공지능 연구자들은 언어를 진정으로 이해하고 생성하는 시스템을 개발하기 위해 부단히 노력해 왔으며, 언어 처리는 방대한 양의 배경 지식과 유연한 지능이 결합해야만 성공할 수 있는 인공지능의 궁극적 도전 과제입니다.
전통적 컴퓨터 과학에서 자연어를 단계별로 파악하는 6단계 언어 이해 과정은 다음과 같습니다:
음성 언어(Spoken language)의 소리 파형을 디지털화하고 단어 조각(Word segments)들로 구분하는 단계입니다. 취급되는 기본 언어 단위는 음소(Phonemes, 음성의 최소 단위)입니다.
형태분석 (Morphological Analysis)
단어들을 그들의 구성 요소로 분해하고 구두점 등 비단어 토큰을 분리합니다. 예컨대 "Bill's house"에서 명사 'Bill'과 소유격 접미사 ''s'를 구분합니다. 취급 언어 단위는 형태소(Morpheme, 뜻을 가진 최소 언어 단위)입니다.
단어들의 선형적 나열을 문법적 상호 관계를 보여주는 계층적 구조(파싱 트리)로 변환합니다. 대표적인 문법 체계로 문맥자유 문법 (Context Free Grammar, CFG)과 확장천이문법 (ATN)이 사용되었습니다.
구문 트리에 실질적 의미(Meaning)를 부여하고 지식베이스의 개체로 매핑합니다. Noam Chomsky (1957)의 유명한 문장 "Colorless green ideas sleep furiously (무색의 초록 아이디어가 맹렬히 잔다)"처럼 구문은 완벽하나 의미가 성립하지 않는 비정상 문장을 걸러냅니다. 의미망 (Semantic Network), 격문법 (Case Grammar), 몬테규문법 (Montague Grammar), 개념의존 이론 (CD)이 대표적입니다.
각 문장의 의미는 앞선 문장의 맥락 속에서 결정되며 다음 문장에 영향을 미칩니다. 문장에 포함된 대명사나 개체들이 앞서 언급된 대상과 일치하는지 규명하는 상호참조 및 대용어 해소(Coreference Resolution)를 통해 전체 담화(Discourse)의 일관성을 확보합니다.
화용분석 (Pragmatic Analysis)
말의 글자 그대로의 표면적 뜻을 넘어, 발화자가 처한 실제 상황, 사회적 관계, 의도(Intent)를 파악하여 숨겨진 진정한 의미를 재해석하는 단계입니다. (예: "창문 좀 닫아줄 수 있나요?" → 가능 여부 질문이 아닌 실제 닫아달라는 요청).
▪ [Infographic] NLU 인지 피라미드: 표면적 토큰에서 심리·의도 파악으로
자연어 이해는 하위의 단순 문자·신호 인식에서 출발하여, 문법과 의미 매핑을 거쳐, 최상위의 화용론적 의도(Intent)와 인간 심리(Theory of Mind)를 추론하는 5계층의 고도화된 인지 아키텍처로 구성됩니다.
화용론 · 발화 의도 · 심리 이론 (Pragmatics & Theory of Mind)
이해 목표: 발화자의 숨은 감정, 반어법, 사회적 맥락, 그리고 사용자가 명시하지 않은 궁극적 목적(Goal) 추론
담화 통합 · 상식 추론 (Discourse Coherence & Common Sense)
이해 목표: 앞뒤 문맥 간의 대명사 일치, 물리 법칙과 세상 상식(World Knowledge)에 기반한 논리적 정합성 유지
맥락적 의미론 · 다의어 해소 (Contextual Semantics & WSD)
이해 목표: '배(Ship/Pear/Belly)'와 같은 동음이의어 및 다의어를 주변 문맥 단어들과의 어텐션 가중치로 정확히 구별
구문 파싱 · 개체명 식별 (Syntactic Parsing & NER)
이해 목표: 주어-동사-목적어의 문법 관계 규명, 인물·지명·시간·금액 등 핵심 엔티티 추출
어휘 토큰화 · 음소·형태소 분해 (Tokenization & Morphology)
이해 목표: 입력 문자열을 모델이 연산 가능한 서브워드(Subword) 토큰 단위로 분절 및 벡터화
▪ AI 와 LLM 에서 자연어 이해(NLU)가 가지는 4대 핵심 의미
과거의 NLU가 엄격한 문법 규칙과 사전 매핑의 한계로 인해 '특정 좁은 도메인'에서만 작동했다면, 현대 초거대 언어모델(LLM) 환경에서 NLU는 전례 없는 범용성과 인지적 깊이를 확보했습니다.
다단계 파이프라인의 종말과 '통합 어텐션' NLU
과거에는 형태소 분석 → 구문 파싱 → 개체명 인식 → 의미 매핑을 차례로 거치며 앞 단계의 분석 오류가 다음 단계로 눈덩이처럼 증폭되는 '연쇄 오류(Error Cascade)' 문제가 심각했습니다. 현대의 트랜스포머는 다층 셀프 어텐션(Multi-Head Self-Attention)을 통해 구문, 의미, 대용어 관계를 수천 개의 고차원 차원에서 동시에 양방향으로 한 번에 해소합니다.
상식 추론(Commonsense)과 위노그라드 스키마 극복
고전 AI의 최대 난제는 "그 트로피는 갈색 가방에 들어가지 않았다. 왜냐하면 그것이 너무 [컸기/작았기] 때문이다. '그것'은 무엇인가?"와 같은 위노그라드 스키마 챌린지(WSC)였습니다. 문법만으로는 대명사 '그것'이 트로피인지 가방인지 알 수 없으며, 물리적 세계의 크기와 포함 관계라는 상식 지식(World Knowledge)이 있어야만 풀 수 있습니다. 현대 LLM은 방대한 텍스트 사전학습을 통해 이 상식 추론을 자연스럽게 돌파했습니다.
제로샷 의도 파악(Intent)과 구조화된 의미 추출
기존의 챗봇 NLU(Dialogflow, Alexa 등)는 수많은 의도(Intent)와 슬롯(Slot) 라벨을 수작업으로 라벨링하여 지도학습해야 했습니다. 현대의 LLM NLU는 단 한 번의 프롬프트 지시만으로 사용자의 복합적이고 다층적인 의도를 100% 제로샷(Zero-shot)으로 파악하며, 이를 백엔드 시스템이 즉각 호출할 수 있는 엄격한 JSON 스키마, 함수 호출(Tool/Function Calling) 규격으로 완벽 변환합니다.
심리 이론(Theory of Mind)과 인간-기계 정렬(Alignment)
인간의 대화는 문자 그대로 이루어지지 않으며, 수많은 생략, 비유, 반어, 그리고 공감대를 전제로 합니다. 최신 고성능 추론 모델(o1, Sonnet 3.5 등)은 상대방이 무엇을 알고 있고 무엇을 모르며, 발화 뒤에 숨겨진 감정과 심리 상태가 무엇인지를 추론하는 '심리 이론(Theory of Mind)' 벤치마크에서 높은 성취를 보이며, 인간의 가치와 맥락에 안전하게 부합하는 정렬(Alignment)을 가능하게 합니다.
▪ [Infographic] 고전 규칙 기반 NLU vs 현대 초거대 언어모델 NLU 비교
수작업 문법 규칙과 지식베이스에 의존하던 전통 NLU와, 초거대 사전학습과 셀프 어텐션으로 무장한 현대 LLM NLU의 6대 핵심 비교입니다.
| 비교 축 | 고전 NLU (Classical Rule/Statistical NLU) | 현대 LLM 기반 NLU (Transformer / Foundation Model) |
|---|---|---|
| 내부 의미 표상 | 기호 논리식, 의미망 노드-엣지, 프레임/슬롯 정형 틀 | 연속적 고차원 잠재 벡터 공간(Latent Vector Space) |
| 다의어 및 문맥 해소 | 사전에 규칙을 정의해야 하며, 새로운 문맥에 취약 | 셀프 어텐션을 통해 전체 문맥에 따라 동적으로 가중치 부여 |
| 상식 및 물리 법칙 이해 | Cyc와 같이 모든 상식을 수작업 온톨로지로 코딩 시도 | 웹 스케일 대규모 텍스트 압축 과정에서 자연스럽게 상식 습득 |
| 대용어 및 담화 처리 | 한정된 문장 수 내에서 규칙 기반 호칭 추적(Hobbs 알고리즘) | 수만~수백만 토큰 범위의 장문 맥락 일관성 및 인물 추적 |
| 발화 의도(Intent) 인식 | 사전에 정의된 Intent 분류기 및 Slot 태깅 모델 필요 | 자연어 지시문(Prompt)을 통한 제로샷 다중 의도 실시간 파악 |
| 새로운 영역 확장성 | 도메인이 바뀔 때마다 사전, 문법, 온톨로지를 재작성 | 사전학습된 기초 지능을 바탕으로 Few-shot으로 즉각 적응 |
▪ 자연어 이해 학술 논문 · 전문 연구 및 저작
컴퓨터의 언어 이해와 인지과학적 탐구를 다룬 주요 학술 논문 및 연구 포털 링크입니다.
📄 학술 논문 · 연구 저작
🌐 연구 포털 · 해외 아카이브
-
AI Topics : Natural Language Understanding (AAAI)
미국인공지능학회(AAAI) NLU 토픽 아카이브 및 최신 연구 트렌드 - 🔴 HAL 9000 (공상과학 속 자연어 이해 컴퓨터의 원형)
- 💡 이해 (Understanding) - 인지심리학적 메커니즘
▪ 관련 핵심 학술 개념 및 세부 연구 분야 (Terms)
자연어 이해 및 인공지능 연구에서 상호 참조되는 주요 학술 개념들입니다. 각 링크를 클릭하면 상세 페이지로 이동합니다.