Self Organizing Map
태어난 지 얼마되지 않은 아기가 눈의 초점 맞추기를 배우는 과정을 생각해 보자. 이 기능은 신생아들에게는 주어지지 않았지만 그들은 태어난지 얼마되지 않아서 점차로 그러한 능력을 갖게 된다. 이 세상에서 아무리 훌륭하고 헌신적인 부모라 해도 갓 태어난 시각적인 자극을 보고 이해하기 위하여 어떻게 해야하는지 가르쳐줄 수는 없다. 그러나 며칠 후 아기는 눈에 보이는 자극과 물체 및 모양들을 서로 연관시키는 것을 자연스럽게 배우게 된다. 이것은 주목할 만한 점이다. 그러나 아기뿐만 아니라 갓 태어난 강아지나 고양이들도 이러한 기능을 외부의 도움없이도 자연스럽게 배운다. 어떻게 이런 일이 일어나는가? 이에 대한 설명중 하나가 핀란드의 헬싱키 공과대학 (Helsinki Technology University) 의 Teuvo Kohonen 에 의해 제안되었다. 그의 연구 업적은 유럽에서만큼 미국에서는 크게 알려지지 않았으나 자율학습 (Unsupervised Learning) 신경망 모델에서는 미국의 Stephen Grossberg 와 더불어 가장 유명하다. 그의 신경망의 '자기조직화 (Self Organizing)' 란 주어진 입력패턴에 대하여 정확한 해답을 미리 주지 않고 자기 스스로 학습할 수 있는 능력을 말한다. 일반적으로 이러한 네트워크들은 신경생리학 (neurophysiology) 적인 시스템을 본따서 모델링한 것이다. 이러한 모델들을 연구하는 사람들은 두뇌 (brain) 가 어떻게 실제로 작용하는지를 이해하고자 노력하며, 이를 신경망 (Neural Network) 으로 구현할 때 얼마나 유용할 것인가를 규명하기 위하여 노력한다 ...... (김대수 1992)
SOM 은 입력 벡터를 훈련집합에서 match 되도록 가중치를 조정되는 인공 신경세포 (Neuron) 격자에 기초한 자율학습 (Unsupervised Learning) 의 한 방법이다. Helsinki 대학의 Teuvo Kohonen (저서 Self Organizing Maps) 에 의해 최초로 소개하였으며 Kohonen map 이라고도 불리운다.
SOM 알고리즘에는 특징 벡터 (feature vectors) 가 주어지며 어떤 차원 (dimension) 에서도 사용된다. 대부분의 응용에서는 차원이 높다. 1 차원, 2 차원에서도 출력 map 이 만들어 질 수 있지만, 대부분의 경우는 2 차원, 3 차원 map 이다. 왜냐하면 SOM 이 차원의 확장보다는 감소를 위해 주로 사용되기 때문이다.
SOM 은 출력 map 에 자신의 물리적 위치를 가지고, 승자독식 (winner-take-all) 과정에 참여하는 인공 뉴런의 집합이란 의미로 가장 쉽게 설명된다. 일종의 경쟁신경망 (competitive network) 인 winner-take-all 과정은 입력벡터에 가장 가까운 가중치 벡터를 가지는 노드를 승자 (winner) 로 선언하고, 그 값이 입력벡터에 더 가까워지도록 가중치가 조정된다. 각 노드는 이웃의 집합을 가진다. 이러한 노드가 경쟁에서 이길 때 이웃의 가중치도 변화된다. 그들이 똑같이 변화되지는 않는다. 이웃이 winner 에서 멀어질수록 그 가중치는 더 작게 변화된다. 이러한 과정이 각 입력벡터에 대해 반복되어 많은 cycle 을 수행한다. 입력이 달라지면 winner 도 달라진다.
SOM 네트워크는 출력 노드를 입력 데이터 집합에서의 그룹이나 패턴들과 연관시키는 것으로 종료된다. 이러한 패턴에 이름이 주어질 수 있다면 훈련망에서 관련된 노드에 그 이름이 부착될 수 있다.
대부분의 신경망 (Neural Network) 에서 처럼 SOM 은 두 개의 작동 모드를 가진다.
SOM 의 새로운 버전은 Generative Topographic Map (GTM) 으로 불리운다. GTM 은 1996 년에 Bishop, Svensen, Williams 의 논문에서 처음 소개되었다. GTM 은 SOM 의 확률적 버전으로서, 수렴할 가능성이 크고 이웃을 축소시키거나 step size 를 감소시킬 것을 요구하지 않는다.
GTM 은 데이터의 generative model 이다. 훈련데이터는 저차원공간에서 처음에 확률적으로 하나의 포인트를 선택하여, 그 포인트를 관찰된 고차원 입력공간으로 매핑시키고 (smooth function 을 통해), 그리고나서 고차원 입력공간에서 noise 를 더하는 것으로 가정한다. 저차원 확률분포의 인수, smooth map, 고차원 입력공간에서의 noise 등은 모두 기대치최대화 알고리즘 (Expectation Maximization Algorithm) 에 의해서 훈련집합으로부터 학습된다. ...... (Wikipedia : Self-organizing map)
term :
신경망 (Neural Network) 자율학습 (Unsupervised Learning) 자기조직화 맵 (Self-Organizing Map)
site :
Self-Organizing Map : Neural Networks at your Fingertips
SOM Java applet (source code 포함) : Robert Saunders
Generative Topographic Mapping (GTM) paper : Bishop
얼마나 많은 종류의 코호넨 네트워크들이 존재하는가 ? : 엠아이랩 이관식 : Teuvo Kohonen은 뉴로컴퓨팅에서 가장 유명하고 생산성이 높은 연구자들 중 한 명이며, 그는 다양한 신경망들을 고안하였다. 그러나 많은 사람들은 어떤 종류의 코호넨 네트워크인지를 지정하지 않고 통틀어서 "코호넨 네트워크"라고 참조하며, 그래서 이러한 정확성의 부재는 혼란을 초래한다. ........ 문장 "코호넨 네트워크"는 종종 다음 세가지 종류의 네트워크들 중 하나를 의미한다: VQ .... SOM .... LVQ .....
paper :
로봇 매니퓰레이터 제어를 위한 개조된 자기조직화 신경망 개발 (Development of the Revised Self-Organizing Neural Network for Robot Manipulator Control) : 이종태, 구태훈, 대한산업공학회, 1999
유전자 알고리즘에 의한 자기구성 다항식 뉴럴네트워크 최적 설계 (Optimal Design of Self-Organizing Polynomial Neural Networks By Means of Genetic Algorithms) : 박호성, 박병준, 오성권, 원광대 공업기술개발연구지, 2002
자기조직화 지도를 위한 베이지안 학습 (Bayesian Learning for Self Organizing Maps) : 황진수, 전홍석, 전성해, 한국통계학회, 2002
하이브리드 SOM 을 이용한 효율적인 지식베이스 관리 (An Efficient Knowledge Base Management Using Hybrid SOM) : 왕창종, 최준혁, 윤경배, 한국정보처리학회, 2002
SOM (Self-Organization Map) 을 이용한 로봇 매니퓰레이터 충돌회피 경로계획 (Collision-Free Path Planning for Robot Manipulator using SOM) : 이종태, 이종우, 대한산업공학회, 1996
SOM 과 PRL 을 이용한 고유얼굴 기반의 머리동작 인식 방법 (A Head Gesture Recognition Method based on Eigenfaces using SOM and PRL) : 이우진, 한국정보처리학회, 2000