aistudy 메인
관측되지 않는 잠재 변수(Latent Variable) 나 결측치(Missing Data) 가 존재하는 확률 모델에서, E단계(기댓값 계산 )와 M단계(우도 극대화) 의 교대 반복을 통해 모수의 최대우도추정치(MLE) 또는 최대사후확률추정치(MAP)를 점근적으로 수렴해내는 통계적 기계학습의 핵심 메타 알고리즘 .... EM 알고리즘의 개념은 통계학에서 자주 쓰이는 "앞면이 나올 확률이 서로 다른 두 동전 A, B" 예시로 쉽게 이해할 수 있습니다.
EM의 접근법:
1. 초기화: 동전 A와 B의 앞면 확률을 대충 가정합니다 (예: A는 0.6, B는 0.4).
2. E 단계: 가정한 확률을 바탕으로, 관측된 앞/뒤 결과가 '동전 A에서 나왔을 확률'과 '동전 B에서 나왔을 확률'을 각각 계산(기댓값 할당)합니다.
3. M 단계: 가중치(확률)가 부여된 데이터를 바탕으로 동전 A와 B의 앞면 확률을 다시 더 정확하게 업데이트합니다.
이를 반복하면 점차 실제 두 동전의 숨겨진 확률로 수렴합니다.
EM 알고리즘은 불완전 정보 (missing data) 에 대한 Posterior 분포의 해석적 표현을 얻을 수 있으며, 완전 정보 (complete data) 의 최대우도 추정 (Maximum Likelihood Estimation) 의 해석적 표현이 가능할 때는 언제나 강력한 계산도구로 사용할 수 있으며, 추정치 (estimate) 가 안정적이다.
Wikipedia : Expectation-maximization algorithm : 통계 (Statistics) 에서 EM 알고리즘은 보이지 않는 잠재 변수 (latent variable) 에 의존하는 확률모델에서 모수 (parameter) 들의 최대우도 추정치 (maximum likelihood estimates of parameters) 를 찾고자하는 알고리즘이다.
즉 expectation (E) 단계에서는 잠재 변수의 기대치를 계산하고, maximization (M) 단계에서는 주어진 데이터와 기대치가 부여된 잠재 변수를 이용하여 모수들의 최대우도 추정치를 계산한다.
"Expectation-maximization" 은 특별한 알고리즘이 아니라 관련된 알고리즘의 종류에서 따온 이름이다 ; EM 은 특별한 알고리즘을 발명하기위해 사용되는 하나의 수단 (recipe) 또는 메타알고리즘 (meta-algorithm) 이다. Baum-Welch algorithm 은 hidden Markov models 에 응용된 EM 알고리즘의 한 예이다. 또다른 예는 mixture density model를 fitting 하기위한 EM 알고리즘이다.
실제 관측 데이터 이면에 존재하지만 직접 측정할 수 없는 숨은 변수(예: 클러스터 소속 라벨, HMM의 은닉 상태 등)를 통계적으로 다룹니다.
잠재 변수의 사후 기대치를 계산하는 E단계와, 이를 고정하고 모수를 극대화하는 M단계를 번갈아 수행하여 우도를 단조 증가시킵니다.
매 반복(Iteration)마다 관측 데이터의 로그 우도가 감소하지 않음을 수학적으로 보장하며 국소 최적해(Local Maximum)에 안정적으로 도달합니다.
관측된 데이터 y 와 보이지 않는 잠재 변수 z 가 결합된 완전 정보(Complete Data)를 상정해 봅시다.
각 데이터 포인트가 어느 클러스터에 속하는지 명확히 알고 있으므로, 단순한 미분을 통해 모수 θ 의 최대우도 추정치(MLE)를 손쉽게 닫힌 형식(Closed-form)으로 계산할 수 있습니다.
베이즈 정리를 통해 각 데이터 포인트가 어떤 잠재 변수 z 에 속할지에 대한 사후 확률 p(z | y, θ) 를 쉽게 계산할 수 있습니다.
관측 데이터의 로그 우도 log p(y | θ) = log ∑_z p(y, z | θ) 는 로그 안에 합(∑)이 들어있어 미분하여 0으로 두는 직접적인 해석적 해법이 불가능합니다.
EM 알고리즘은 임의의 초기 모수 θ_0 에서 출발하여, 모수 추정치를 θ_1, θ_2, ..., θ_N 으로 점진적으로 갱신합니다.
[원전 수식 표기 보존]
EM 알고리즘의 본질은 로그 우도 함수 log p(y | θ) 의 '증거 하한(Evidence Lower Bound : ELBO)' 곡면을 계속해서 만들어 들어 올리는 과정입니다.
현재의 모수 추정치 θ_n 에서 실제 로그 우도 곡선에 완벽히 접하는 보조 함수(Lower Bound)를 구합니다. 이 점에서 실제 우도와 하한 함수의 차이(KL Divergence)는 정확히 0이 됩니다.
E단계에서 만든 보조 하한 곡선의 정점(Maximum)으로 모수를 이동시켜 새로운 θ_(n+1) 을 찾습니다. 하한이 높아졌으므로 실제 우도 또한 반드시 같거나 높아집니다.
EM 알고리즘이 가장 널리 쓰이는 전형적인 사례는 비지도 학습의 대표 모델인 가우시안 혼합 모델(Gaussian Mixture Model : GMM)입니다.
| 비교 항목 | K-평균 군집화 (K-Means Clustering) | GMM + EM 알고리즘 (Soft Clustering) |
|---|---|---|
| 군집 할당 방식 | 하드 군집화 (Hard Clustering) 데이터가 특정 클러스터에 100% 속함 (0 또는 1) |
소프트 군집화 (Soft Clustering) 각 클러스터에 속할 사후 확률(소속도, Responsibility) 부여 |
| 클러스터 형태 | 원형 / 구형 (Spherical) 모든 클러스터의 분산과 방향이 동일하다고 가정 |
타원형 (Elliptical) 각 클러스터마다 고유한 평균벡터와 공분산 행렬을 가짐 |
| 알고리즘 연관성 | EM 알고리즘의 극단적인 특수 형태 (분산이 0으로 수렴할 때의 하드 EM) |
일반화된 확률적 군집화 프레임워크 |
| E단계 동작 | 가장 가까운 군집 중심점에 점들을 배정 | 현재 모수로 각 점이 각 가우시안에 속할 사후 확률 계산 |
| M단계 동작 | 배정된 점들의 산술 평균으로 중심점 재계산 | 소속도 가중치를 반영하여 평균, 공분산, 혼합비율 갱신 |
1977년 뎀스터(Dempster), 레어드(Laird), 루빈(Rubin)에 의해 체계화된 EM 알고리즘은 통계학을 넘어 인공지능, 기계학습, 데이터마이닝의 패러다임을 바꾼 혁명적 도구였습니다.
실제 산업 현장의 데이터(센서 결측, 환자 임상 기록 누락, 고객 설문 누락 등)는 결측치가 빈번합니다. 과거에는 결측 행을 버리거나 단순 평균으로 채웠으나, EM 알고리즘은 데이터의 손실 없이 불완전 정보로부터 통계적으로 가장 엄밀한 최대우도 모수를 추정할 수 있는 완벽한 해결책을 제시했습니다.
시계열 순차 데이터의 은닉 상태를 모델링하는 은닉 마르코프 모델(HMM)의 핵심 학습 알고리즘인 바움-웰치(Baum-Welch) 알고리즘은 바로 EM 알고리즘의 직계 변형입니다. 이를 통해 1980~2000년대 음성 인식(Siri 이전 세대)과 초기 통계적 기계 번역(IBM Model 1~5)이 비약적으로 발전했습니다.
정답 레이블이 없는 방대한 빅데이터에서 잠재된 서브그룹(Subpopulations)과 패턴을 스스로 찾아내는 가우시안 혼합 모델(GMM) 기반의 클러스터링을 가능케 하여, 고객 세분화(Customer Segmentation), 이상 탐지(Anomaly Detection), 유전자 서열 분석 등 데이터마이닝 분야의 표준 도구가 되었습니다.
MRI, CT 영상에서 뇌 조직(백질, 회백질, 뇌척수액)을 자동으로 분할하는 이미지 세그멘테이션과, 3차원 점군 데이터(Point Cloud)를 정합하는 ICP(Iterative Closest Point)의 확률적 확장이 모두 EM 알고리즘을 토대로 구현되었습니다.
딥러닝의 대부 제프리 힌튼(Geoffrey Hinton)과 래드퍼드 닐(Radford Neal, 1999)은 EM 알고리즘을 '자유 에너지(Free Energy) 최소화' 관점으로 재해석했습니다. 이 연구는 오늘날 현대 생성 AI의 핵심 축인 변분 오토인코더(VAE, Variational Autoencoder)의 ELBO 최적화와 최첨단 확산 모델(Diffusion Models)의 잠재 변수 역추정 원리로 고스란히 계승되었습니다.
잠재 변수 모델과 가우시안 혼합 모델(GMM)을 통해 EM 알고리즘의 E단계와 M단계 수렴 원리를 직관적이고 명쾌하게 설명하는 강의
EM 알고리즘과 유기적으로 연결되는 aistudy 핵심 지식 문서들을 탐색할 수 있습니다.