통계학 (Statistics)
📌 인공지능에서 통계가 하는 역할 ...
• 데이터의 요약과 이해 (기술 통계): 개별 데이터만으로는 알기 어려운 전체적인 성질을 평균, 분산, 표준편차, 정규분포 등을 이용해 수치화하고 요약합니다.
• 패턴과 관계 파악: 변수들 간의 상관관계를 분석하여 어떤 데이터가 결과에 영향을 주는지(독립 변수와 종속 변수) 파악합니다.
• 불확실성 처리: 세상의 데이터는 늘 오차나 노이즈를 포함하므로, 확률을 기반으로 "가장 그럴 듯한(Likely) 정답"을 추정합니다.
• 모델 학습 및 평가: 선형 회귀, 로지스틱 회귀, 신경망 등 머신러닝 알고리즘이 데이터를 기반으로 최적의 파라미터를 찾아내고 성능을 검증하도록 돕습니다.
데이터의 수집과 정리, 요약, 분석을 통해 불확실한 현상 속에서 숨겨진 패턴과 규칙성을 규명하고 과학적 의사결정을 이끄는 학문입니다. 인공지능 연구의 태동기 기호주의와 연결주의의 불확실성 추론에서부터, 수조 토큰의 거대 언어모델(LLM)을 학습시키고 정렬하는 현대 데이터 중심 AI의 가장 근원적인 수학적 기둥입니다.
1. 통계학 (Statistics) 의 개념과 2대 분류 체계
통계학(Statistics)은 불확실성이 존재하는 상황에서 수치적 자료(Data)를 수집, 요약, 정리하는 방법과, 이를 바탕으로 모집단(Population)에 대한 일반적인 결론을 도출하는 과학적 절차를 연구하는 학문입니다. 통계학은 연구 목적과 접근법에 따라 크게 기술통계학(Descriptive Statistics)과 추론통계학(Inferential Statistics)으로 나뉩니다.
기술통계학 (Descriptive Statistics)
수집된 표본 데이터의 주요 특성을 수치나 도표로 요약하고 시각화(Summary & Visualization)하는 분야입니다.
- 중심 경향치: 평균(Mean), 중앙값(Median), 최빈값(Mode)
- 산포도: 분산(Variance), 표준편차(SD), 사분위수 범위(IQR)
- 분포 형태: 왜도(Skewness, 비대칭도), 첨도(Kurtosis, 뾰족함)
- 시각화 도구: 히스토그램, 박스플롯(Box Plot), 산점도
추론통계학 (Inferential Statistics)
관측된 표본(Sample)의 확률적 성질을 바탕으로 모집단 전체의 모수(Parameter)를 추정하고 가설을 검정하는 분야입니다.
- 점추정 & 구간추정: 신뢰구간(Confidence Interval, 95% CI)
- 가설 검정 (Hypothesis Testing): 귀무가설($H_0$), 대립가설($H_1$), 유의수준(α), p-value
- 모수 검정 기법: Z-검정, t-검정, 분산분석(ANOVA), 회귀분석
- 비모수 검정: 카이제곱($\chi^2$) 검정, 맨-휘트니 검정
💡 통계학의 2대 철학적 학파:
• 빈도주의 (Frequentist): 모수는 고정된 상수이며, 무한 반복 표본추출에서 얻어지는 상대적 빈도로 가설을 검정합니다 (Fisher, Neyman-Pearson).
• 베이지안 (Bayesian): 모수 자체를 확률 변수로 간주하며, 사전 지식(Prior)에 새로운 데이터 관측치를 결합하여 사후 분포(Posterior)로 갱신해 나갑니다.
2. 기호주의 vs 연결주의 패러다임과 통계학의 접점
인공지능 (Artificial Intelligence) 연구는 크게 보아 두 가지 접근 방법에 의해 이루어져 왔습니다.
① 기호주의 방식 (Symbolism)
주어진 문제에 대하여 기본이 되는 개념, 이들 간의 관계 및 제약조건, 구체적인 사실들을 정해진 기호체계 내에서 기호들의 집합으로 표현한 후, 이 기호들을 적절히 변형하고 조작함으로써 추론, 의사결정, 학습 등을 수행할 수 있다고 보는 입장입니다.
② 연결주의 방식 (Connectionism)
AI를 실현하기 위해서는 학습이나 언어, 인식이나 감각의 본질에 대한 이해가 필요하며, 인간의 두뇌를 모방한 신경망 (Neural Network)을 구성하여 정보처리의 최소 단위인 신경세포(Neuron)들의 협동적, 경쟁적 상호작용을 통해 종합적인 정보처리를 해야 한다고 보는 견해입니다.
📌 AI 연구의 두 가지 접근방법 중에서 기호주의 방법에서 통계학이 많이 사용되어 왔습니다. 특히 전문가시스템 (Expert System)에서의 불확실성 (Uncertainty) 처리 문제와 Bayesian 학습방법, 패턴인식 (Pattern Recognition) 분야 연구에서 Bayes 이론이 결정적인 역할을 합니다.
정성적 (Qualitative, Non-numeric) 방법
불확실성을 언어적 용어(Linguistic Term)를 사용하여 표현합니다. McDermott & Doyle의 기본값 추론 (Default Reasoning), de Kleer의 가정 기반 진리유지시스템(ATMS), Cohen의 Endorsement 등이 있습니다. 언어의 모호성으로 인해 불확실 증거 결합 규칙을 수학적으로 엄밀히 정의하기 어렵다는 한계가 있었습니다.
정량적 (Quantitative, Numerical) 방법
불확실성을 단일값 또는 [하한, 상한]의 수치 범위로 표현하여 추론과정에서 불확실도를 결합하고 전파합니다. 여기에는 Bayesian 확률망, 확신도 (Certainty Factor), Dempster-Shafer 증거이론, 퍼지 (Fuzzy) 추론방법 등이 있습니다.
지식공학자(Knowledge Engineer)가 구축하던 지식베이스는 현대 기계학습 (Machine Learning)의 귀납적 방법(데이터로부터 통계적 규칙과 믿음 네트워크 생성), 연역적 설명기반 학습, 사례기반 학습을 통해 자동화되었습니다.
패턴인식 (Pattern Recognition)의 패턴분류에서는 통계적 결정함수, 거리함수, 베이즈 정리, 그리고 음성인식의 핵심이었던 은닉 마르코프 모델 (HMM)이 통계학을 토대로 구축되었습니다. 또한 연결주의의 볼쯔만 머신 (Boltzmann Machine)은 상호결합형 홉필드 네트워크 (Hopfield Network) 구조에 통계역학적 확률 상태전이를 결합한 대표적 통계 신경망입니다.
3. 최신 AI 와 거대 언어모델(LLM)에서 통계학의 역할
과거 전문가 시스템과 패턴인식에서 불확실성 처리에 쓰이던 통계학은, 오늘날 수십억~수천억 개의 파라미터를 가진 트랜스포머 기반 LLM(GPT-4o, Claude 3.5, Gemini)의 데이터 수집, 아키텍처 정규화, 모델 학습, 신뢰성 평가, 정렬(Alignment) 전 과정에 걸쳐 시스템의 성패를 가르는 중추적 역할을 담당하고 있습니다.
사전학습 데이터 큐레이션 및 통계적 필터링
수조 토큰(Trillion Tokens) 규모의 웹 데이터를 크롤링할 때, 지프의 법칙(Zipf's Law)과 n-gram 통계 분석을 통해 어휘 분포의 이상치를 탐지합니다. 또한 MinHash와 LSH(Locality Sensitive Hashing)를 이용한 통계적 유사도 검정으로 대규모 중복 문서를 제거하여 모델의 암기(Memorization)를 방지하고 일반화 성능을 극대화합니다.
신경망 내부 통계량 제어: LayerNorm & RMSNorm
트랜스포머의 각 어텐션 블록과 피드포워드 계층을 통과할 때 활성화 벡터(Activation)의 스케일이 폭주하거나 사라지는 문제를 막기 위해, 각 층마다 평균(μ)과 분산(σ²) 통계량을 실시간 계산하여 표준화하는 Layer Normalization 및 RMSNorm이 핵심 인프라로 작동합니다.
벤치마크 평가 및 통계적 유의성 (Elo Rating)
LMSYS Chatbot Arena와 같은 인간 선호도 블라인드 테스트에서는 체스에서 유래한 Elo 레이팅 통계 모델과 부트스트래핑(Bootstrapping)을 통해 95% 신뢰구간(CI)을 산출하여 모델 간 순위 차이가 통계적으로 유의미한지(Statistically Significant) 판정합니다.
불확실성 정량화(UQ)와 의미론적 엔트로피
LLM이 내놓은 답변이 신뢰할 수 있는 사실인지 환각(Hallucination)인지를 감지하기 위해, 동일 프롬프트에 대해 여러 번 샘플링한 문장들의 의미 클러스터링 후 의미론적 엔트로피(Semantic Entropy) 통계량을 측정하여 모델의 내적 불확실성을 수치화합니다.
4. AI 와 머신러닝에서 매일 활용되는 핵심 통계 개념 6선
데이터 전처리, 모델 훈련 최적화, 정규화, 그리고 성능 검증에 필수적인 통계학의 핵심 개념들을 명확히 정리하였습니다.
중심 경향치와 산포도 (Mean & Variance)
데이터 분포의 대표 중심축과 퍼짐 정도를 측정합니다. 신경망 가중치 초기화(Xavier/He Init)와 입력 데이터 스케일링(Z-Score 표준화)의 절대적 기준입니다.
공분산과 피어슨 상관계수 (Correlation)
두 변수 간 선형 연관성의 강도(-1 ~ +1)를 나타냅니다. 고차원 데이터에서 중복 특성을 걸러내고 주성분 분석(PCA) 차원 축소를 수행하는 근간입니다.
최대 우도 추정법 (MLE & MAP)
관측된 데이터가 출현할 가능성(우도)을 최대로 만드는 모수 θ를 찾습니다. 딥러닝 손실 함수(Cross-Entropy)를 유도하는 이론적 출발점입니다.
가설 검정과 유의확률 (p-value)
AI 신규 모델이나 프롬프트 개선 효과가 단순 우연인지, 통계적으로 유의미한 향상인지를 검증하는 A/B 테스트의 필수 잣대입니다.
편향-분산 균형 (Bias-Variance)
단순 모델의 과소적합(High Bias)과 복잡한 모델의 과적합(High Variance) 사이의 최적 지점을 찾는 머신러닝 일반화의 영원한 핵심 원리입니다.
부트스트랩 (Bootstrapping) & MCMC
모집단의 확률분포를 모를 때 데이터를 수천 번 복원 추출하여 모수의 통계적 신뢰도를 계산합니다. LLM 벤치마크 오차범위 계산에 광범위하게 쓰입니다.
5. 통계학 추천 영상 강의 (YTN 사이언스)
기존에 제공되던 수학스토리텔러 박경미 교수의 YTN 사이언스 명품 통계 다큐멘터리를 반응형 플레이어로 온전히 보존하였습니다.
21회 세상을 바꾸는 통계 ↗
출처: 수학으로 푸는 세상의 비밀 - YTN 사이언스 · 강연: 박경미 수학스토리텔러 (홍익대 교수, 2014/04/04)
생활 속 통계의 원리부터 빅데이터와 인공지능 사회에서 통계적 사고가 왜 세상을 바꾸는 핵심 경쟁력이 되는지를 흥미진진하게 풀어낸 교양 강의입니다.