Boltzmann Machine
볼쯔만 머신은 신경망과 시뮬레이티드 어닐링으로부터의 흥미로운 성질들을 결합시킨 모델인데 대규모 병렬처리를 이용하는 강력한 계산 장치이다. 볼쯔만 머신은 1984년 Geoffrey E. Hinton 과 Terrence J. Sejnowski 에 의해 도입되었다. 볼쯔만 머신은 커넥셔니스트 (connectionist) 모델로의 최신 접근 방법이다. 이것은 홉필드 모델의 일반화로 여겨질 수 있는데 홉필드 네트워크의 동작 규칙을 확률적인 동작 규칙으로 확장시킨 것으로 생각될 수 있다. 홉필드 네트워크의 동작 규칙에서는 네트워크의 상태를 에너지를 감소시키는 방향으로만 변화시키지만, 볼쯔만 머신에서는 에너지가 증가하는 상태의 전이에 대해서도 작은 확률로나마 허용하는 동작규칙을 사용한다.
백프로퍼게이션
네트워크를 비롯한 여러 신경망 모델들이 지역 최소점 (local minima) 에 빠져서 전역적
최소점 (global minima) 을 구할 수 없는 경우도 있는데 비하여 볼쯔만 머신에서는
에너지가 증가하는 방향으로의 전이도 가능하므로 전역적 최소값을 구할 수 있다.
이것의 원리는 마치 그림에서 보는 바와 같이 구슬이 두개의 지역 최소값을
가진 에너지 장벽으로 분리되어 있는 시스템에서 상자를 흔들어 어느 곳으로도 굴러갈
수 있도록 하는 것과 같은 원리인 것이다.
지역 최소값에서의 탈출
........ 우리가 볼쯔만 머신을 학습하는 중요한 이유는 다음과 같다. 우선 이 모델은 탐사, 표현 및 학습 등에 응용될 수 있는 일반적인 접근 방법을 제시해 준다. 또한 이 모델은 엄밀한 수학적인 바탕을 통하여 네트워크의 수렴 성질을 제공하며 지도학습이건 자율학습이건 간에 간단한 학습 알고리즘들을 형성할 수 있게 해 준다. 마지막으로, 이 모델의 단순성으로 인하여 실리콘 칩에 넣는 하드웨어의 구현이 비교적 쉽다는 것이다. ........볼쯔만 머신은 유니트들이 그들의 상태전이를 국부적으로 평가하기 때문에 병렬처리를 쉽게 해준다. 더군다나 볼쯔만 머신은 전체적인 구성을 분산 표현하기 때문에 전통적인 컴퓨터 아키텍처를 사용할 때 생길 수 있는 폰 노이만의 병목 현상 (bottleneck) 을 겪지 않는다. .......... 볼쯔만 머신의 유용한 응용분야로는 VLSI 의 배치문제나 순회판매원 문제 (traveling salesman problem), 최적화 문제의 근사해를 구하는 경우 등에 특히 적합하다 ............ (김대수 1992)
term :
신경망 (Neural Network) 지도학습 (Supervised Learning) 시뮬레이티드 어닐링 (Simulated Annealing) 볼쯔만 머신 (Boltzmann Machine) 홉필드 네트워크 (Hopfield Network) 병렬분산처리 (Parallel Distributed Processing)
site :
Attrasoft Boltzmann Machine : Introduction
Boltzmann machine : Neural Networks at your Fingertips
paper :
Geoffrey E. Hinton, Terrence J. Sejnowski : (1986) Learning and Relearning in Boltzmann Machines. In D. E. Rumelhart, J. L. McClelland, and the PDP Research Group, Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations. (pp 282-317) Cambridge: MIT Press