볼쯔만 머신 : Boltzmann Machine

(1) 결정론적 모델에서 '확률론적 에너지 모델'로의 도약

기존의 홉필드 네트워크(Hopfield Network)는 에너지가 무조건 감소하는 방향으로만 결정론적으로 움직이기 때문에, 네트워크가 초기 입력과 가까운 지역 최소점(Local Minima)에 쉽게 갇혀버리는 치명적인 한계가 있었습니다. 볼쯔만 머신은 뉴런의 활성화 규칙에 통계물리학의 확률적 요동(Stochastic Fluctuation)을 부여하여, 에너지가 증가하는 상태 전이도 일정한 확률로 허용함으로써 깊은 계곡(지역 최소점)을 탈출해 전체 상태 공간에서 전역 최적해(Global Minima)를 찾아낼 수 있는 길을 열었습니다.

(2) 통계역학(Statistical Mechanics)과 커넥셔니즘(Connectionism)의 결합

19세기 오스트리아 물리학자 루트비히 볼츠만(Ludwig Boltzmann)의 열역학 평형 상태 확률 분포 이론을 정보 처리 시스템에 직접 결합시켰습니다. 신경망의 각 뉴런 상태를 물리적 입자의 스핀(Spin) 상태로 간주하고, 시스템 전체의 구성을 분산 표현(Distributed Representation)함으로써 두 학문 분과를 연결하는 강력한 수학적 토대를 구축하였습니다.

(3) 현대 딥러닝(Deep Learning) 탄생의 직접적 모태

볼쯔만 머신의 완전 연결 구조는 연산 복잡도가 높았으나, 이를 층간 연결만 허용하고 층내 연결을 없앤 제한된 볼쯔만 머신(RBM, Restricted Boltzmann Machine)으로 단순화하고, 이를 여러 층으로 적층한 심층 신뢰망(DBN, Deep Belief Network)으로 발전시켰습니다. 이는 2006년 제프리 힌튼 교수가 침체되어 있던 인공신경망 분야를 부활시키고 심층 신경망의 비지도 사전 훈련(Unsupervised Pre-training)을 성공시켜 현대 딥러닝 혁명을 촉발한 역사적 원천이 되었습니다.

(1) 확률적 뉴런 활성화 (Sigmoid / Logistic 활성화 함수)

뉴런 $i$의 상태가 1이 될 확률 $P(s_i = 1)$은 시스템의 가상 온도 파라미터 $T$와 해당 뉴런을 켬으로써 발생하는 에너지 변화량 $\Delta E_i$에 의해 결정됩니다:

시뮬레이티드 어닐링(Simulated Annealing) 원리에 따라, 학습 초기 높은 온도 $T$에서는 뉴런들이 무작위적으로 요동치며 높은 에너지 장벽을 자유롭게 뛰어넘어 광범위한 상태 공간을 탐색합니다. 이후 온도를 서서히 낮춤(Cooling/Annealing)에 따라 확률적 요동이 줄어들고 가장 낮고 안정적인 전역 최소 에너지 바닥(Global Minima)에 정착하게 됩니다.

(2) 랴푸노프(Lyapunov) 에너지 함수 정의

네트워크 전체의 상태 에너지 $E$는 모든 뉴런 쌍 간의 연결 가중치와 상태의 상호작용으로 정의됩니다:

(3) 2단계 학습 알고리즘 (Two-Phase Learning Algorithm)

볼쯔만 머신은 지도학습 및 비지도학습 모두에서 매우 독창적인 '각성 단계'와 '수면 단계'의 2단계 학습을 수행합니다:

• ① 고정 단계 (Clamped Phase / Positive Phase, 깨어있는 상태): 가시 유닛(Visible Units)에 외부 훈련 데이터 벡터를 고정시키고, 은닉 유닛(Hidden Units)들이 열적 평형(Thermal Equilibrium)에 도달할 때까지 상태를 전이시킨 후, 두 뉴런 $i, j$가 동시에 활성화될 결합 확률 상관관계 ⟨s_i s_j⟩⁺를 수집합니다.
• ② 자유 동작 단계 (Free-running Phase / Negative Phase, 꿈꾸는 상태): 가시 유닛의 고정을 풀고 모든 뉴런이 자유롭게 확률적으로 동작하는 자율 공명(Dreaming) 상태에서 열적 평형을 이룬 후, 네트워크 자체 생성 분포에 의한 상관관계 ⟨s_i s_j⟩^-를 수집합니다.

이 가중치 갱신 규칙은 외부 환경의 실제 데이터 분포 $P^+(V)$와 네트워크 내부 모델이 스스로 생성하는 분포 $P^-(V)$ 사이의 쿨백-라이블러 발산(Kullback-Leibler Divergence, KL Divergence)을 경사하강법으로 최소화하는 것과 정확히 일치한다는 정보이론적 엄밀성을 가집니다.

(1) 복잡한 조합 최적화(Combinatorial Optimization) 문제

• 순회 외판원 문제(Traveling Salesman Problem, TSP): 도시 수가 증가함에 따라 가능한 경로의 수가 폭발적으로 증가하는 대표적인 NP-완전 문제에서, 지역 최소점에 갇히지 않고 수용 가능한 시간 내에 우수한 전역 최적 근사 경로를 산출합니다.
• VLSI 반도체 칩 소자 배치 및 배선 최적화: 수만 개 이상의 전자 소자 배치에서 도선 길이의 합을 최소화하고 신호 간섭을 줄이는 고난도 집적회로 설계에 활용됩니다.

(2) 패턴 복원 및 내용 주소화 연상 기억 (Associative Memory & Pattern Completion)

심한 노이즈가 섞이거나 일부 화소/정보가 유실된 불완전한 입력 패턴이 주어졌을 때, 네트워크의 확률적 상태 전이 수렴을 통해 학습된 원래의 완전하고 깨끗한 원형 패턴을 역으로 복원해 냅니다.

(3) 생성 모델(Generative Modeling) 및 비지도 잠재 표현 학습

레이블이 없는 대규모 원시 데이터(이미지, 음성 등) 이면에 존재하는 고차원 확률 분포를 스스로 학습하여, 실제 데이터와 유사한 새로운 합성 데이터를 생성하거나, 데이터의 핵심 특징(Feature)을 압축된 잠재 벡터로 추출하는 비지도 표현 학습에 적용됩니다.

(4) 딥러닝 다층 신경망의 가중치 초기화 및 사전 훈련 (Pre-training)

심층 신경망(DNN)의 고질적 난제였던 기울기 소실(Vanishing Gradient) 문제를 극복하기 위해, 각 층을 RBM 단위로 바닥부터 차례로 비지도 사전 훈련시킨 후 전체 네트워크를 미세 조정(Fine-tuning)하는 기법의 표준으로 사용되었습니다.