홈 > 인공지능(AI) > 심리학(Psychology) > 주의집중 (Attention)
🎯 인지심리학 선택적 주의 · 시냅스 신호 제어 · 트랜스포머 어텐션 메커니즘

Attention (주의집중)

인간 마음의 선택적 필터에서 컴퓨터의 시분할 인터럽트, 그리고 거대언어모델(LLM) 혁명의 심장 'Self-Attention'으로

CORE PARADIGM SELECTIVE ATTENTION
💡 KEY INSIGHT · 칵테일 파티 효과 & AI 어텐션(Attention) 메커니즘

칵테일 파티 효과(Cocktail Party Effect) 는 주변에 소음이 가득한 환경에서도 자신이 주의를 기울이는 특정 소리나 대화를 선택적으로 집중해 들을 수 있는 인지 현상입니다. 시끄러운 파티장에서도 친구의 목소리를 또렷하게 알아듣거나, 멀리서 내 이름이 들렸을 때 무의식적으로 고개를 돌리게 되는 현상이 대표적인 사례입니다. 이 현상은 심리학과 뇌과학에서 인간의 '선택적 주의(Selective Attention)' 또는 '선택적 지각' 능력을 설명할 때 가장 널리 인용되는 개념입니다. ... 인공지능(AI) 과 대규모 언어 모델(LLM) 에서 어텐션(Attention) 은 문장을 이해할 때 단어들 간의 관계를 파악하고, 현재 단어를 해석하거나 다음 단어를 예측할 때 "어떤 단어에 더 집중(가중치)해야 하는지" 계산해 주는 핵심 메커니즘입니다.

1. 어텐션이 필요한 이유 (과거 모델과의 차이)

  • • 과거(Seq2Seq 등): 문장 전체를 하나의 고정된 크기 압축 벡터(Context Vector)에 구겨 넣다 보니, 문장이 길어질수록 앞쪽의 정보가 손실되는 병목 현상이 있었습니다.
  • • 어텐션 도입 후: 번역이나 문장 생성의 매 순간마다 전체 입력 문장을 다시 돌아보며, "지금 이 단어를 풀이할 때 저기 있는 단어와 얼마나 연관이 깊은가?"를 동적으로 계산해 정보 손실을 해결했습니다.

2. 핵심 구성 요소: Q, K, V (Query, Key, Value)

트랜스포머(Transformer) 구조 기반의 LLM에서 어텐션은 Q, K, V라는 세 가지 벡터의 연산으로 작동합니다. 도서관이나 검색 시스템에 비유하면 이해하기 쉽습니다:

🔍 Query (질문, Q)

"내가 지금 찾고 있는/해석하려는 단어나 정보가 무엇인가?"
(검색 시스템의 검색어에 해당)

🏷️ Key (단서/색인, K)

"각 단어들이 가지고 있는 성질이나 위치표지"
(도서관 책의 목차나 키워드에 해당)

📖 Value (실제 내용, V)

"단어가 품고 있는 진짜 의미 정보"
(도서관 책의 본문 내용에 해당)

⚙️ [Q, K, V 연산 동작 방식]
  1. 내 Q와 다른 모든 단어들의 K를 곱해서 유사도 점수를 구합니다 (내 질문과 매칭되는 키 찾기).
  2. 소프트맥스(Softmax) 함수를 통해 이 점수들을 확률(합이 1이 되는 가중치)로 정규화합니다.
  3. 이 가중치를 각 단어의 V(실제 정보)에 곱해서 모두 더해 최종 맥락 정보를 만들어냅니다.

3. 셀프 어텐션(Self-Attention)이란?

LLM(트랜스포머)의 가장 중요한 특징은 셀프 어텐션입니다. 외부의 다른 문장을 보는 것이 아니라, 하나의 문장 내부에서 단어들끼리 서로를 참조하는 방식입니다.

구체적 예시: "철수는 배가 고파서 배를 먹었다." 라는 문장에서 두 번째 '배(fruit)'를 이해할 때, 셀프 어텐션은 '고파서'나 '철수는' 같은 주변 단어들과의 연관성을 계산해 이 '배'가 탈것이 아니라 먹는 과일임을 파악해 줍니다.
📑 빠른 목차 바로가기 (Quick Directory)
Section 01 · 인지심리학적 정의

▪ 주의집중(Attention)의 개념과 인지의 관문(Gateway)

주의집중은 심리학과 인지 신경과학에서 가장 집중적으로 연구되는 핵심 주제 중 하나입니다. 인간의 마음(의사결정, 기억, 감정 등)과 관련된 수많은 인지 과정 중에서 주의집중은 가장 구체적이고 견고한(concrete) 기초인데, 그것은 외부 세계를 감각하는 지각(Perception)과 직접적으로 맞닿아 있기 때문입니다. 즉, 주의집중은 다른 모든 고차원 인지 과정(rest of cognition)으로 통하는 관문(Gateway)입니다.

저명한 근대 심리학의 창시자 윌리엄 제임스(William James)는 주의집중에 대해 역사상 가장 유명한 정의를 남겼습니다:

"모든 사람은 주의집중이 무엇인지를 안다. 주의집중은 동시에 여러 개의 가능한 대상(object) 또는 연속된 사고(thought) 중에서 하나를 명확하고 생생한 형태로 마음속에 소유하는 것이다. ... 그것은 어떤 것을 효율적으로 다루기 위해 다른 것들을 소거(withdrawal / ignore)하는 것을 의미한다." — Principles of Psychology (1890) · (Wikipedia : Attention)

주의집중은 어떤 것을 선택하여 집중하고 다른 것들을 무시하는(ignore) 인지과정입니다. 예를 들면 소음이 가득한 파티장에서도 다른 사람들의 웅성거림은 무시하고 내가 대화하는 상대방의 목소리에만 귀를 기울일 수 있는 '칵테일 파티 효과(Cocktail Party Effect)'가 대표적입니다. 또한 운전을 하면서 라디오를 듣고 동시에 내비게이션을 확인하는 것처럼 주의는 여러 대상에 분리(split)되어 배분될 수도 있습니다.

Section 02 · 3대 어텐션 패러다임 비교

▪ 인간의 Attention vs 컴퓨터의 Attention vs LLM의 Attention 심층 비교

'어텐션(Attention)'이라는 공통된 명칭 아래, 생물학적 뇌의 신경망, 고전 컴퓨터의 하드웨어 스케줄링, 그리고 트랜스포머 기반 대규모 언어 모델(LLM)은 완전히 다른 작동 원리와 수학적 구조를 지니고 있습니다.

🧠

인간의 Attention

선택적 억제 · 병목 필터
  • • 신경생물학적 기질: 시상(Thalamus, 감각 관문), 두정엽(공간 주의망), 전전두엽(PFC, 하향식 통제)
  • • 핵심 메커니즘: 선택적 정보 차단(Filtering & Bottleneck). 초당 수백만 비트 중 의식엔 약 77비트만 통과
  • • 구동 방식: 자극 주도 상향식(Bottom-up, 큰 소리) + 목표 지향 하향식(Top-down, 의도적 독서)
  • • 목적: 제한된 뇌 대사 에너지(20W)를 보존하고 감각 과부하를 방지하여 생존율 극대화
  • • 특성: 피로도 존재, 주의의 동요(Fluctuation)와 깜빡임(Attentional Blink) 발생
💻

컴퓨터의 Attention

인터럽트 · 우선순위 큐
  • • 물리적 기질: 인터럽트 컨트롤러(APIC), OS 스케줄러, CPU 버스 중재기
  • • 핵심 메커니즘: 결정론적 클록 시간 배분. 우선순위 큐(Priority Queue)와 시분할(Time-slicing)
  • • 구동 방식: 하드웨어/소프트웨어 인터럽트(IRQ), 시스템 콜에 따른 컨텍스트 스위칭
  • • 목적: 다중 프로세스 간 데드락 방지, CPU 유휴 시간 최소화 및 처리량(Throughput) 최적화
  • • 특성: 의미(Semantics)를 알지 못하며, 오직 프로그래머가 지정한 정적/동적 우선순위 숫자에 따라 전환
✨

LLM의 Attention

Self-Attention 행렬 가중치
  • • 수학적 기질: Softmax((Q KT) / √dk) V 벡터 내적 연산 (GPU 텐서 코어)
  • • 핵심 메커니즘: 전방위 동적 관계 계산(All-to-All Soft Matching). 모든 단어가 서로의 연관도를 동시 평가
  • • 구동 방식: Query(질문), Key(색인), Value(내용) 간의 소프트맥스 유사도 가중합산
  • • 목적: 문맥 내 모든 토큰의 상호 관계를 포착하여 최적의 다음 토큰 확률 분포 생성
  • • 특성: 인간과 달리 정보를 버리지 않고 가중합산하여 융합함(O(T2) 연산 복잡도)
비교 차원 인간의 주의 (Human) 컴퓨터의 제어 (Computer) LLM의 어텐션 (LLM)
정보 처리 원리 선택적 병목 (무관한 정보의 적극적 소거) 시분할 클록 분배 (우선순위 기반 실행 전환) 전방위 가중 결합 (모든 토큰의 관계망 계산)
의미론적 이해 맥락과 의도, 감정에 기반한 심층 이해 전무 (이진 상태 레지스터 값 제어) 고차원 임베딩 공간에서의 통계적 관계 형성
거리의 제약 시간 경과에 따라 감쇠, 작업기억 용량 제한 메모리 버스 대역폭 및 캐시 라인 제약 거리와 무관하게 1스텝 직접 참조 (장거리 직결)
다중성 (Multi-focus) 극도로 제한됨 (멀티태스킹 시 성능 급락) 멀티코어 병렬 실행 (하드웨어 코어 수 한정) Multi-Head Attention (수십 개 관점 동시 포착)
주요 병목 생물학적 인지 피로 및 집중력 감퇴 컨텍스트 스위칭 오버헤드, I/O 대기 시퀀스 길이 제곱 O(T2) 메모리 및 KV 캐시 부담
Section 03 · Deep Research & 인포그래픽
SPECIAL IN-DEPTH RESEARCH REPORT
🔬 최근 AI에서 Attention이 주목받는 이유와 LLM에서의 활용 (심층 분석 보고서)

Exact Recall vs KV 세금, FlashAttention-4/AVO, MLA·DSA 희소 어텐션, 3:1 하이브리드 수렴 분석 전문 수록

심층 보고서 전문 읽기 →

▪ 최근 AI와 LLM에서 Attention이 결정적으로 중요하게 여겨지는 이유

2017년 구글의 기념비적인 논문 "Attention Is All You Need" (Vaswani et al.) 이후, 인공지능의 모든 주도권은 '어텐션(Attention)'으로 넘어왔습니다. 왜 합성곱(CNN)이나 순환신경망(RNN)이 아닌 어텐션이 현대 생성형 AI와 초거대 언어모델(LLM)의 심장이 되었는가? 최신 인공지능 학계의 연구 결과는 이를 다음 4대 혁신 축으로 규명합니다.

TRANSFORMER ATTENTION INFOGRAPHIC

Query · Key · Value 메커니즘과 다중 헤드(Multi-Head) 어텐션

🔍

Query (질문 / 탐색)

"현재 내가 해석하려는 단어가 다른 단어들에게 던지는 질문"
예: 문장 속 '그것(It)'이라는 단어가 "내가 가리키는 주체는 누구인가?"라고 묻는 벡터.

🏷️

Key (색인 / 라벨)

"문맥 속 각 단어들이 자신을 식별하기 위해 제시하는 명패"
Query와 Key를 내적(Dot-product)하여 두 단어 사이의 의미적 연관도 점수(Softmax)를 산출.

📦

Value (실제 내용값)

"연관도 가중치에 따라 최종적으로 결합될 단어의 알맹이 정보"
높은 어텐션 점수를 받은 Value들을 가중합산하여 문맥이 완벽히 반영된 새 벡터를 합성.

⚡ 핵심 공식 : Attention(Q, K, V) = softmax(Q · KT / √dk) · V
인간의 뇌가 시각 피질에서 색상, 형태, 움직임을 분격 처리하듯, Multi-Head Attention은 문법적 관계, 의미론적 관계, 감정적 톤 등을 각기 다른 어텐션 헤드에서 병렬로 추출하여 완벽한 문맥 지도를 완성합니다.

현대 LLM 혁명을 이끈 Attention의 4대 결정적 이유

1. 순차적 병목의 붕괴: 대규모 병렬 학습(Massive Parallelization)의 실현

과거 딥러닝 자연어 처리를 지배하던 RNN/LSTM은 1번 단어를 처리해야 2번 단어로 넘어갈 수 있는 직렬 순차 연산 구조였습니다. 반면 트랜스포머의 Self-Attention은 문장 전체의 단어들을 단 한 번의 행렬 곱셈으로 동시에 계산할 수 있습니다. 이로 인해 GPU 수만 대를 활용한 초거대 규모의 병렬 사전학습(Pre-training)이 가능해졌고, LLM 폭발의 토대가 마련되었습니다.

2. 장거리 의존성(Long-Range Dependency)의 무손실 해결

기존 신경망은 문장이 50단어만 넘어가도 초반 정보가 소실되는 '기울기 소실(Vanishing Gradient)' 문제를 겪었습니다. 그러나 어텐션 구조에서는 10,000단어 앞에 나온 대명사나 핵심 조건도 단 1스텝의 어텐션 링크로 직결됩니다. 이로 인해 수십만 토큰에 달하는 긴 책 한 권이나 방대한 코드베이스를 통째로 조망하는 긴 문맥 창(Long Context Window)이 실현되었습니다.

3. 동적 문맥화(Contextualized Representation): 살아있는 의미 구성

고전적인 단어 사전(Word2Vec 등)에서 '사과'는 언제나 동일한 정적 벡터였습니다. 하지만 트랜스포머 어텐션에서는 "사과를 깎아 먹었다"의 '사과'와 "과오에 대해 정중히 사과했다"의 '사과'가 주변 단어들과의 어텐션 가중치 교환을 통해 완전히 다른 문맥적 의미 벡터로 동적 재구성됩니다. 이는 인간의 직관적 언어 이해와 거의 동일한 유연성을 제공합니다.

4. 최신 추론 모델(Reasoning Models)과 에이전트의 사고 도구

OpenAI o1, DeepSeek-R1, GPT-5 등 최신 추론 모델들이 중간 단계에서 생각의 사슬(Chain-of-Thought)을 전개하고 스스로 가설을 검증할 때, 이전 추론 단계의 오류를 포착하고 수정할 수 있는 이유 역시 어텐션 메커니즘이 과거 생성된 사고 토큰들을 끊임없이 역추적·참조하기 때문입니다.

Section 04 · 공학적 모델링과 초기 연구

▪ 공학적 모델링: 잡음 하 음성인식과 선택적 신호처리

인간은 스스로 듣고 싶은 것만 듣고, 보고 싶은 것만 봅니다. 이러한 선택적 신호처리(Selective Signal Processing)를 심리학에서는 '주의집중(Attention)'이라 부르며, 일찍이 인공지능과 신호처리 공학에서는 잡음 하 음성인식이나 복잡한 배경 속의 영상인식을 해결하기 위한 핵심 공학적 모델로 개발해 왔습니다.

초기 국내 인공지능 연구의 선구적 시도: KAIST 연구

• 논문 및 발표: Selective Attention · 강연자: 이수영 교수
• 핵심 연구 주제: 주의집중을 이용한 잡음 하 음성인식의 성능 향상

전기통신공학과 수학적 제어 이론으로부터 회로, 필터, 시그널 강도, 결정 기준 등의 개념을 도입하여 인간 뇌의 주의집중 행동을 공학 시스템으로 모형화한 대표적 선구 연구입니다.

Section 05 · 주의의 심리학적 메커니즘

▪ 주의의 유형과 작동 조건: 1차적 · 2차적 주의와 주의 분배

외부 환경이나 개체 내부로부터 유입되는 수많은 자극 중 특정한 것을 특히 분명하게 인지하거나 특정한 것에만 반응하는 마음의 선택적·집중적 활동은 크게 세 가지 수준으로 구별됩니다:

1차적 · 수동적 주의

무의식적 · 자극 주도

갑작스러운 큰 소리, 이상한 냄새, 번쩍이는 빛이나 아름다운 이성에게 본능적으로 시선이 끌리는 반사적 주의.

준 1차적 · 습관적 주의

학습된 자동성

패션 디자이너가 직업의식에서 행인의 옷차림이나 몸매를 무의식적으로 먼저 훑어보듯, 오랜 훈련과 습관에 의해 형성된 주의.

2차적 · 능동적 주의

의식적 · 유의적 통제

시끄러운 소음 속에서도 복잡한 수학 암산이나 학술 서적 독서에 깊이 몰입할 때처럼 의식적 의지(Effortful Control)로 집중을 유지하는 주의.

일상생활에서는 자동차를 운전하면서 옆 사람과 대화를 나누는 경우처럼 둘 이상의 과업을 동시에 처리하는 '주의의 분배(Division of Attention)'나, 레이더를 오랜 시간 감시할 때 나타나는 '주의의 지속과 동요(Sustained Attention & Fluctuation)'가 중요한 인지적 과제가 됩니다.

주의를 이끄는 양대 조건:

  • • 객관적 조건: 자극의 물리적 강도, 크기, 대조, 움직임, 반복성, 돌출성(Salience), 신기성(Novelty)
  • • 주관적 조건: 호기심, 공포심, 생물학적 본능, 개인의 흥미와 전문성, 그리고 순간적인 심리적 기분(Mood)
Section 06 · 지식 아카이브

▪ 관련 핵심 용어(Term) · 주요 논문(Paper) · 추천 사이트

Section 07 · 동영상 아카이브

▪ 고려대학교 KUOCW 남기춘 교수 인지심리학 특강 (동영상 3선)

고려대학교 심리학과 남기춘 교수의 KUOCW 명강의를 통해 청각 주의, 시각 주의, 스트룹 효과, 중앙 주의 메커니즘을 심층 학습합니다.

KUOCW 인지심리학 2014/03/20

주의와 수행 (청각 주의, 시각 주의)

강연자: 남기춘 교수 · 고려대 CTL

KUOCW 인지심리학 2014/03/25

물체 기반 주의, 중앙 주의, 스트룹 효과

강연자: 남기춘 교수 · 언어/시각 심상

KUOCW 인지심리학 2014/03/27

주의와 수행, 심상 (시각 심상)

강연자: 남기춘 교수 · 심상적 사고