🎲 베이즈확률 (Bayesian Probability)
확률을 '단순한 사건의 반복 발생 빈도'가 아닌 '불완전한 정보 하에서 어떤 명제나 가설의 참됨에 대한 합리적 믿음의 정도(Degree of Belief)'로 정의하는 수리철학적 체계이자, 인공지능이 새로운 관측에 따라 지식을 능동적으로 업데이트하고 초거대 LLM이 몇 개의 프롬프트 예시만으로 작동 원리를 깨우치는 인컨텍스트 러닝(In-Context Learning)과 환각 차단 불확실성 정량화의 수학적 뿌리
토머스 베이즈와 라플라스에서 프랭크 램지, 브루노 드 피네티, 레너드 새비지의 주관주의(Subjectivism) 확률 혁명으로 이어지며, 고전 빈도주의(Frequentism)의 한계를 넘어 단 한 번만 일어나는 역사적 사건이나 미지의 가설에도 합리적인 수치 확률을 부여할 수 있도록 만든 현대 인공지능 확률적 추론의 핵심입니다.
베이즈주의(Bayesianism)와 믿음의 정도 (Degree of Belief)
"....... 베이즈주의 (Bayesianism), 주관주의 (subjectivism, subjective probability), 개인적확률 (personal probability), 인식론적확률 (epistemic probability), 논리적확률 (logical probability) 는 모두 같은 의미이다 .............."
베이즈주의는 수학적 확률 이론이 가능성의 정도 (degree of plausibility) 또는 진실 여부에 대한 믿음의 정도 (degree of belief) 에 적용되는 철학적 주의(tenet)이며, 베이즈 정리 (Bayes' Theorem) 와 함께 사용된다면 베이즈추론 (Bayesian Inference) 이 됩니다.
이 용어는 빈도주의 (Frequentism), 즉 수학적 확률을 개인의 믿음의 정도로 해석하는 것을 단호히 거부하고 임의의 사건에 대해 오직 그 상대적인 발생 빈도에 따라서만 객관적 확률을 부여하려는 입장과 근본적으로 대조되는 개념입니다. 확률을 베이지언적으로 해석하면 무작위 사건(random events)에 적용될 수 있을 뿐만 아니라, 그 어떤 종류의 명제나 서술(any other kind of statement)에도 확률을 유의미하게 부여할 수 있습니다.
빈도주의자 vs 베이즈주의자: 화성 생명체 사고실험 (Wikipedia 인용)
빈도주의자(frequentist)와 베이즈주의자(Bayesian)는 둘 다 동전 던지기를 무수히 반복했을 때 앞면이 나올 확률에 대해 동일하게 1/2 (50%)의 확률을 부여할 수 있습니다.
그러나 "10억 년 전에 화성에 생명체가 존재했었는가?" 라는 단 한 번의 역사적 명제에 대해서는 입장이 극명하게 갈립니다.
"확률을 부여할 수 없다"
10억 년 전의 화성을 무한히 복제하여 반복 실험할 수 없으므로 상대적 발생 빈도를 측정할 수 없습니다. 따라서 이 명제에 대한 확률 계산을 원천적으로 거부합니다.
"현재 증거 하에서 1/1,000 확률 부여"
반복 빈도에 얽매이지 않고, 지금까지 발견된 탐사선 관측 증거와 물리적 지식을 종합하여 "화성에 생명체가 있었을 것이라는 합리적 믿음의 크기"로서 P(화성 생명체) = 0.001을 즉각 부여할 수 있습니다.
주관주의 확률론의 철학적 계보 (송하석 1998)
주관주의 확률 이론에 따르면 확률이란 어떤 사람이 특정한 순간에 주어진 명제나 사건에 대해서 갖는 믿음의 정도 (degree of belief) 입니다. 고전적 확률 이론가인 베르누이나 라플라스도 확률을 설명하면서 확신의 정도(degree of confidence)라는 용어를 사용했기 때문에 오해를 받기도 하지만, 최초의 주관주의 확률 이론을 엄밀하게 제안한 사람은 영국의 철학자 램지 (F. Ramsey) 입니다.
램지는 "확률은 믿음의 정도"라는 주장과 함께 그 믿음의 정도가 인간의 베팅(Betting) 행동을 통해 어떻게 비교되고 정량적으로 측정될 수 있는가를 행동주의적 방식으로 설명했습니다.
램지의 요절 이후 주관주의 확률 이론의 체계적인 발전은 드 피네티 (B. De Finetti) 와 그의 동료 새비지 (L. Savage) 에 의해서 집대성되었습니다:
"객관적인 확률이란 하나의 환상이어서 존재하지 않으며, 확률은 개인적이며 주관적인 믿음의 정도일 뿐이라고 주장한다."
주관주의 이론은 베이즈 정리에 가해지던 빈도주의의 엄격한 전수조사 제한을 완전히 제거하여, 의사결정 이론(Decision Theory), 인지과학, 심리학, 그리고 현대 인공지능이 제공하는 유용한 결과들을 온전히 수용할 수 있는 학문적 도약대를 마련했습니다 (송하석 1998).
대규모 심층 연구: AI와 거대 언어 모델(LLM)에서 베이즈 확률론이 왜 필수적인가?
기존의 딥러닝이 "정답 가중치를 단 하나의 값으로 찾아내는 결정론적 최적화"에 치중했다면, 현대 인공지능과 거대 언어 모델(LLM)은 "자신의 무지(Model Ignorance)와 데이터의 불확실성을 스스로 알고 있는 베이지안 AI"로 진화하고 있습니다.
1. 두 종류의 불확실성 분리: 데이터 잡음 vs 모델의 무지
전통 빈도주의 신경망의 소프트맥스(Softmax) 출력은 모델이 전혀 보지 못한 엉뚱한 데이터(OOD)가 들어와도 99% 확신하며 거짓을 답하는 취약점이 있습니다. 베이지안 확률론은 이를 명확히 두 가지로 분리합니다:
2. 베이지안 신경망(BNN)과 Bayesian LoRA: 가중치 자체를 확률분포로 취급
일반 신경망은 고정된 단일 가중치 W* 만을 가집니다. 반면 베이지안 신경망(BNN)은 가중치 자체를 확률변수로 다루어 사후분포 P(W | Data) 를 추정합니다.
최근 초거대 언어 모델에서는 수천억 개의 파라미터 전체를 BNN으로 훈련하는 비용을 극복하기 위해, 미세조정 어댑터인 LoRA 가중치에만 사후 가우시안 분포를 부여하는 Bayesian LoRA 및 라플라스 근사(Laplace Approximation)를 적용하여, 단 몇 줄의 추가 연산으로 모델의 칼리브레이션(Calibration) 성능을 극대화하고 있습니다.
3. POMDP 에이전트 신념 상태 (Belief State)
웹 브라우징과 코딩을 자율 수행하는 LLM 에이전트는 환경 전체를 한눈에 볼 수 없는 부분 관측 마르코프 결정 과정(POMDP)에 직면합니다. 에이전트는 신념 상태 b(s) = P(State | Observations) 를 베이지안 확률로 유지하며 탐색과 활용(Exploration vs Exploitation)의 균형을 유지합니다.
4. 베이지안 최적화 (Bayesian Optimization)
LLM의 하이퍼파라미터(온도, Top-p, 프롬프트 템플릿)를 자동으로 튜닝할 때, 가우스 과정(Gaussian Process) 사전분포를 이용해 미지의 성능 함수를 베이지안으로 모델링하고 획득 함수(Expected Improvement)를 통해 최소의 실험 횟수로 전역 최적값을 탐색합니다.
인포그래픽: 빈도주의 AI vs 베이지안 AI 비교 및 작동 아키텍처
⚖️ 빈도주의(Frequentist) vs 베이지안(Bayesian) 인공지능 패러다임 비교
| 비교 항목 | 빈도주의 AI (Frequentist) | 베이지안 AI (Bayesian) |
|---|---|---|
| 확률의 정의 | 무한히 반복된 물리적 시행에서의 상대 빈도 | 불완전한 정보 하에서 명제에 대한 믿음의 정도 (Belief) |
| 신경망 가중치 W | 고정된 단일 참값 벡터 (Point Estimate W*) | 확률변수 (Probability Distribution P(W|D)) |
| 미지 데이터(OOD) 반응 | 오답이어도 99% 확신하며 잘못된 출력 (과신) | 사후 분산이 급증하여 "모른다"고 정확히 경고 (안전성) |
| 소량 데이터 학습 | 심각한 과적합(Overfitting) 발생 | 사전분포(Prior)를 통해 합리적 정규화 및 추론 유지 |
| 현대 LLM의 구현 | 기본 SGD/AdamW 가중치 학습, Greedy Decoding | 인컨텍스트 러닝(ICL), Bayesian LoRA, 시맨틱 엔트로피 |
P(θ)
기존 상식과 사전 학습 지식으로 형성된 초기 확률 분포.
× P(Data | θ)
현실 관측 데이터가 유입되며 각 가설의 그럴듯함이 계산됨.
→ P(θ | Data)
불확실성이 축소된 새로운 신념으로 진화하여 다음 의사결정 인도.
핵심 연관 용어 (Term)
베이즈 확률론 세계적 명강의 (Video)
베이즈 확률론이 왜 기존 빈도주의의 한계를 깨뜨리고 새로운 증거에 따라 생각을 바꾸는 합리적 사고의 틀이 되는지를 기하학적·직관적으로 보여주는 영상들입니다.
Bayes' theorem, the geometry of changing beliefs
증거가 유입될 때 확률 공간의 면적이 어떻게 재분할되며 사후 믿음으로 수렴하는지 가장 우아하게 시각화합니다.
The Bayesian Trap (베이지안 트랩과 조건부 확률의 오류)
희귀 질환 검사나 거짓말 탐지기에서 사전확률(Base Rate)을 무시했을 때 인간의 직관이 저지르는 치명적 오류를 실증합니다.