Self  Organizing  Map

 

ž Áö ¾ó¸¶µÇÁö ¾ÊÀº ¾Æ±â°¡ ´«ÀÇ ÃÊÁ¡ ¸ÂÃ߱⸦ ¹è¿ì´Â °úÁ¤À» »ý°¢ÇØ º¸ÀÚ. ÀÌ ±â´ÉÀº ½Å»ý¾Æµé¿¡°Ô´Â ÁÖ¾îÁöÁö ¾Ê¾ÒÁö¸¸ ±×µéÀº žÁö ¾ó¸¶µÇÁö ¾Ê¾Æ¼­ Á¡Â÷·Î ±×·¯ÇÑ ´É·ÂÀ» °®°Ô µÈ´Ù. ÀÌ ¼¼»ó¿¡¼­ ¾Æ¹«¸® ÈǸ¢ÇÏ°í Çå½ÅÀûÀÎ ºÎ¸ð¶ó Çصµ °« ž ½Ã°¢ÀûÀÎ ÀÚ±ØÀ» º¸°í ÀÌÇØÇϱâ À§ÇÏ¿© ¾î¶»°Ô ÇؾßÇÏ´ÂÁö °¡¸£ÃÄÁÙ ¼ö´Â ¾ø´Ù. ±×·¯³ª ¸çÄ¥ ÈÄ ¾Æ±â´Â ´«¿¡ º¸ÀÌ´Â Àڱذú ¹°Ã¼ ¹× ¸ð¾çµéÀ» ¼­·Î ¿¬°ü½ÃÅ°´Â °ÍÀ» ÀÚ¿¬½º·´°Ô ¹è¿ì°Ô µÈ´Ù. ÀÌ°ÍÀº ÁÖ¸ñÇÒ ¸¸ÇÑ Á¡ÀÌ´Ù. ±×·¯³ª ¾Æ±â»Ó¸¸ ¾Æ´Ï¶ó °« ž °­¾ÆÁö³ª °í¾çÀ̵鵵 ÀÌ·¯ÇÑ ±â´ÉÀ» ¿ÜºÎÀÇ µµ¿ò¾øÀ̵µ ÀÚ¿¬½º·´°Ô ¹è¿î´Ù. ¾î¶»°Ô ÀÌ·± ÀÏÀÌ ÀϾ´Â°¡? ÀÌ¿¡ ´ëÇÑ ¼³¸íÁß Çϳª°¡ ÇɶõµåÀÇ Çï½ÌÅ° °ø°ú´ëÇÐ (Helsinki Technology University) ÀÇ Teuvo Kohonen ¿¡ ÀÇÇØ Á¦¾ÈµÇ¾ú´Ù. ±×ÀÇ ¿¬±¸ ¾÷ÀûÀº À¯·´¿¡¼­¸¸Å­ ¹Ì±¹¿¡¼­´Â Å©°Ô ¾Ë·ÁÁöÁö ¾Ê¾ÒÀ¸³ª ÀÚÀ²ÇнÀ (Unsupervised Learning) ½Å°æ¸Á ¸ðµ¨¿¡¼­´Â ¹Ì±¹ÀÇ Stephen Grossberg ¿Í ´õºÒ¾î °¡Àå À¯¸íÇÏ´Ù. ±×ÀÇ ½Å°æ¸ÁÀÇ 'ÀÚ±âÁ¶Á÷È­ (Self Organizing)' ¶õ ÁÖ¾îÁø ÀÔ·ÂÆÐÅÏ¿¡ ´ëÇÏ¿© Á¤È®ÇÑ ÇØ´äÀ» ¹Ì¸® ÁÖÁö ¾Ê°í Àڱ⠽º½º·Î ÇнÀÇÒ ¼ö ÀÖ´Â ´É·ÂÀ» ¸»ÇÑ´Ù. ÀϹÝÀûÀ¸·Î ÀÌ·¯ÇÑ ³×Æ®¿öÅ©µéÀº ½Å°æ»ý¸®ÇÐ (neurophysiology) ÀûÀÎ ½Ã½ºÅÛÀ» º»µû¼­ ¸ðµ¨¸µÇÑ °ÍÀÌ´Ù. ÀÌ·¯ÇÑ ¸ðµ¨µéÀ» ¿¬±¸ÇÏ´Â »ç¶÷µéÀº µÎ³ú (brain) °¡ ¾î¶»°Ô ½ÇÁ¦·Î ÀÛ¿ëÇÏ´ÂÁö¸¦ ÀÌÇØÇÏ°íÀÚ ³ë·ÂÇϸç, À̸¦ ½Å°æ¸Á (Neural Network) À¸·Î ±¸ÇöÇÒ ¶§ ¾ó¸¶³ª À¯¿ëÇÒ °ÍÀΰ¡¸¦ ±Ô¸íÇϱâ À§ÇÏ¿© ³ë·ÂÇÑ´Ù ...... (±è´ë¼ö 1992)

SOM Àº ÀÔ·Â º¤Å͸¦ ÈÆ·ÃÁýÇÕ¿¡¼­ match µÇµµ·Ï °¡ÁßÄ¡¸¦ Á¶Á¤µÇ´Â Àΰø ½Å°æ¼¼Æ÷ (Neuron) °ÝÀÚ¿¡ ±âÃÊÇÑ ÀÚÀ²ÇнÀ (Unsupervised Learning) ÀÇ ÇÑ ¹æ¹ýÀÌ´Ù. Helsinki ´ëÇÐÀÇ Teuvo Kohonen (Àú¼­ Self Organizing Maps) ¿¡ ÀÇÇØ ÃÖÃÊ·Î ¼Ò°³ÇÏ¿´À¸¸ç Kohonen map À̶ó°íµµ ºÒ¸®¿î´Ù.

SOM ¾Ë°í¸®Áò¿¡´Â Ư¡ º¤ÅÍ (feature vectors) °¡ ÁÖ¾îÁö¸ç ¾î¶² Â÷¿ø (dimension) ¿¡¼­µµ »ç¿ëµÈ´Ù. ´ëºÎºÐÀÇ ÀÀ¿ë¿¡¼­´Â Â÷¿øÀÌ ³ô´Ù. 1 Â÷¿ø, 2 Â÷¿ø¿¡¼­µµ Ãâ·Â map ÀÌ ¸¸µé¾î Áú ¼ö ÀÖÁö¸¸, ´ëºÎºÐÀÇ °æ¿ì´Â 2 Â÷¿ø, 3 Â÷¿ø map ÀÌ´Ù. ¿Ö³ÄÇϸé SOM ÀÌ Â÷¿øÀÇ È®À庸´Ù´Â °¨¼Ò¸¦ À§ÇØ ÁÖ·Î »ç¿ëµÇ±â ¶§¹®ÀÌ´Ù.

SOM Àº Ãâ·Â map ¿¡ ÀÚ½ÅÀÇ ¹°¸®Àû À§Ä¡¸¦ °¡Áö°í, ½ÂÀÚµ¶½Ä (winner-take-all) °úÁ¤¿¡ Âü¿©ÇÏ´Â Àΰø ´º·±ÀÇ ÁýÇÕÀ̶õ Àǹ̷Π°¡Àå ½±°Ô ¼³¸íµÈ´Ù. ÀÏÁ¾ÀÇ °æÀï½Å°æ¸Á (competitive network) ÀÎ winner-take-all °úÁ¤Àº ÀԷº¤ÅÍ¿¡ °¡Àå °¡±î¿î °¡ÁßÄ¡ º¤Å͸¦ °¡Áö´Â ³ëµå¸¦ ½ÂÀÚ (winner) ·Î ¼±¾ðÇÏ°í, ±× °ªÀÌ ÀԷº¤ÅÍ¿¡ ´õ °¡±î¿öÁöµµ·Ï °¡ÁßÄ¡°¡ Á¶Á¤µÈ´Ù. °¢ ³ëµå´Â ÀÌ¿ôÀÇ ÁýÇÕÀ» °¡Áø´Ù. ÀÌ·¯ÇÑ ³ëµå°¡ °æÀï¿¡¼­ ÀÌ±æ ¶§ ÀÌ¿ôÀÇ °¡ÁßÄ¡µµ º¯È­µÈ´Ù. ±×µéÀÌ ¶È°°ÀÌ º¯È­µÇÁö´Â ¾Ê´Â´Ù. ÀÌ¿ôÀÌ winner ¿¡¼­ ¸Ö¾îÁú¼ö·Ï ±× °¡ÁßÄ¡´Â ´õ ÀÛ°Ô º¯È­µÈ´Ù. ÀÌ·¯ÇÑ °úÁ¤ÀÌ °¢ ÀԷº¤ÅÍ¿¡ ´ëÇØ ¹Ýº¹µÇ¾î ¸¹Àº cycle À» ¼öÇàÇÑ´Ù. ÀÔ·ÂÀÌ ´Þ¶óÁö¸é winner µµ ´Þ¶óÁø´Ù.

SOM ³×Æ®¿öÅ©´Â Ãâ·Â ³ëµå¸¦ ÀÔ·Â µ¥ÀÌÅÍ ÁýÇÕ¿¡¼­ÀÇ ±×·ìÀ̳ª ÆÐÅϵé°ú ¿¬°ü½ÃÅ°´Â °ÍÀ¸·Î Á¾·áµÈ´Ù. ÀÌ·¯ÇÑ ÆÐÅÏ¿¡ À̸§ÀÌ ÁÖ¾îÁú ¼ö ÀÖ´Ù¸é ÈƷøÁ¿¡¼­ °ü·ÃµÈ ³ëµå¿¡ ±× À̸§ÀÌ ºÎÂøµÉ ¼ö ÀÖ´Ù.

´ëºÎºÐÀÇ ½Å°æ¸Á (Neural Network) ¿¡¼­ ó·³ SOM Àº µÎ °³ÀÇ ÀÛµ¿ ¸ðµå¸¦ °¡Áø´Ù.

  1. ÇϳªÀÇ map ÀÌ ¸¸µé¾îÁö´Â training process µ¿¾È¿¡, ½Å°æ¸ÁÀº °æÀï °úÁ¤ (competitive process) À» ÅëÇØ ½º½º·Î¸¦ Á¶Á÷È­ ÇÑ´Ù. ±× ½Å°æ¸ÁÀº second phase (¾î¶°ÇÑ °ÍÀ̵ç) µ¿¾È¿¡ ±â´ëµÇ´Â º¤ÅÍÀÇ Á¾·ù¸¦ ´ëÇ¥ÇÒ ¼ö ÀÖÀ»Á¤µµ·Î °¡´ÉÇÑ ¸¹Àº ¼öÀÇ ÀԷº¤ÅÍ°¡ ÁÖ¾îÁ®¾ß ÇÑ´Ù. ±×·¸Áö ¾ÊÀ¸¸é ¸ðµç ÀԷº¤ÅÍ´Â ¿©·¯Â÷·Ê Àû¿ëµÇ¾î¾ß ÇÑ´Ù. .... 
  2. ÇϳªÀÇ »õ·Î¿î ÀԷº¤ÅÍ°¡ map »óÀÇ À§Ä¡¸¦ ºü¸£°Ô ¾ò°ÔµÇ´Â mapping process µ¿¾È¿¡, ±× ÀԷº¤ÅÍ´Â ÀÚµ¿ÀûÀ¸·Î ºÐ·ùµÇ°í ¹üÁÖ·Î ³ª´¶´Ù. °Å±â¼­´Â °¡ÁßÄ¡º¤ÅÍ°¡ ÀԷº¤ÅÍ¿¡ °¡Àå °¡±îÀÌ À§Ä¡ÇÏ´Â ´Ü ÇϳªÀÇ winning neuron ÀÌ ÀÖÀ» °ÍÀÌ´Ù. (ÀÌ°ÍÀº ÀԷº¤ÅÍ¿Í °¡ÁßÄ¡º¤ÅÍ »çÀÌÀÇ Euclidean distance ¸¦ °è»êÇÏ¿© ½±°Ô °áÁ¤µÉ ¼ö ÀÖ´Ù) 

SOM ÀÇ »õ·Î¿î ¹öÀüÀº Generative Topographic Map (GTM) À¸·Î ºÒ¸®¿î´Ù. GTM Àº 1996 ³â¿¡ Bishop, Svensen, Williams ÀÇ ³í¹®¿¡¼­ óÀ½ ¼Ò°³µÇ¾ú´Ù. GTM Àº SOM ÀÇ È®·üÀû ¹öÀüÀ¸·Î¼­, ¼ö·ÅÇÒ °¡´É¼ºÀÌ Å©°í ÀÌ¿ôÀ» Ãà¼Ò½ÃÅ°°Å³ª step size ¸¦ °¨¼Ò½Ãų °ÍÀ» ¿ä±¸ÇÏÁö ¾Ê´Â´Ù.

GTM Àº µ¥ÀÌÅÍÀÇ generative model ÀÌ´Ù. ÈƷõ¥ÀÌÅÍ´Â ÀúÂ÷¿ø°ø°£¿¡¼­ óÀ½¿¡ È®·üÀûÀ¸·Î ÇϳªÀÇ Æ÷ÀÎÆ®¸¦ ¼±ÅÃÇÏ¿©, ±× Æ÷ÀÎÆ®¸¦ °üÂûµÈ °íÂ÷¿ø ÀԷ°ø°£À¸·Î ¸ÅÇνÃÅ°°í (smooth function À» ÅëÇØ), ±×¸®°í³ª¼­ °íÂ÷¿ø ÀԷ°ø°£¿¡¼­ noise ¸¦ ´õÇÏ´Â °ÍÀ¸·Î °¡Á¤ÇÑ´Ù. ÀúÂ÷¿ø È®·üºÐÆ÷ÀÇ Àμö, smooth map, °íÂ÷¿ø ÀԷ°ø°£¿¡¼­ÀÇ noise µîÀº ¸ðµÎ ±â´ëÄ¡ÃÖ´ëÈ­ ¾Ë°í¸®Áò (Expectation Maximization Algorithm) ¿¡ ÀÇÇؼ­ ÈÆ·ÃÁýÇÕÀ¸·ÎºÎÅÍ ÇнÀµÈ´Ù. ...... (Wikipedia : Self-organizing map)

term :

½Å°æ¸Á (Neural Network)   ÀÚÀ²ÇнÀ (Unsupervised Learning)   ÀÚ±âÁ¶Á÷È­ ¸Ê (Self-Organizing Map)

site :

Self-Organizing Map : Neural Networks at your Fingertips

SOM Java applet (source code Æ÷ÇÔ) : Robert Saunders

Generative Topographic Mapping (GTM) paper : Bishop

¾ó¸¶³ª ¸¹Àº Á¾·ùÀÇ ÄÚÈ£³Ù ³×Æ®¿öÅ©µéÀÌ Á¸ÀçÇϴ°¡ ? : ¿¥¾ÆÀÌ·¦ ÀÌ°ü½Ä : Teuvo KohonenÀº ´º·ÎÄÄÇ»Æÿ¡¼­ °¡Àå À¯¸íÇÏ°í »ý»ê¼ºÀÌ ³ôÀº ¿¬±¸ÀÚµé Áß ÇÑ ¸íÀ̸ç, ±×´Â ´Ù¾çÇÑ ½Å°æ¸ÁµéÀ» °í¾ÈÇÏ¿´´Ù. ±×·¯³ª ¸¹Àº »ç¶÷µéÀº ¾î¶² Á¾·ùÀÇ ÄÚÈ£³Ù ³×Æ®¿öÅ©ÀÎÁö¸¦ ÁöÁ¤ÇÏÁö ¾Ê°í ÅëƲ¾î¼­ "ÄÚÈ£³Ù ³×Æ®¿öÅ©"¶ó°í ÂüÁ¶Çϸç, ±×·¡¼­ ÀÌ·¯ÇÑ Á¤È®¼ºÀÇ ºÎÀç´Â È¥¶õÀ» ÃÊ·¡ÇÑ´Ù. ........ ¹®Àå "ÄÚÈ£³Ù ³×Æ®¿öÅ©"´Â Á¾Á¾ ´ÙÀ½ ¼¼°¡Áö Á¾·ùÀÇ ³×Æ®¿öÅ©µé Áß Çϳª¸¦ ÀǹÌÇÑ´Ù: VQ .... SOM .... LVQ .....

paper :

ÄÚÈ£³Ù ³×Æ®¿öÅ© : ±è´ë¼ö

·Îº¿ ¸Å´Ïǽ·¹ÀÌÅÍ Á¦¾î¸¦ À§ÇÑ °³Á¶µÈ ÀÚ±âÁ¶Á÷È­ ½Å°æ¸Á °³¹ß (Development of the Revised Self-Organizing Neural Network for Robot Manipulator Control) : ÀÌÁ¾ÅÂ, ±¸ÅÂÈÆ, ´ëÇÑ»ê¾÷°øÇÐȸ, 1999

À¯ÀüÀÚ ¾Ë°í¸®Áò¿¡ ÀÇÇÑ Àڱⱸ¼º ´ÙÇ×½Ä ´º·²³×Æ®¿öÅ© ÃÖÀû ¼³°è (Optimal Design of Self-Organizing Polynomial Neural Networks By Means of Genetic Algorithms) : ¹ÚÈ£¼º, ¹Úº´ÁØ, ¿À¼º±Ç, ¿ø±¤´ë °ø¾÷±â¼ú°³¹ß¿¬±¸Áö, 2002

ÀÚ±âÁ¶Á÷È­ Áöµµ¸¦ À§ÇÑ º£ÀÌÁö¾È ÇнÀ (Bayesian Learning for Self Organizing Maps) : ȲÁø¼ö, ÀüÈ«¼®, Àü¼ºÇØ, Çѱ¹Åë°èÇÐȸ, 2002

ÇÏÀ̺긮µå SOM À» ÀÌ¿ëÇÑ È¿À²ÀûÀÎ Áö½Äº£À̽º °ü¸® (An Efficient Knowledge Base Management Using Hybrid SOM) : ¿ÕâÁ¾, ÃÖÁØÇõ, À±°æ¹è, Çѱ¹Á¤º¸Ã³¸®ÇÐȸ, 2002

SOM (Self-Organization Map) À» ÀÌ¿ëÇÑ ·Îº¿ ¸Å´Ïǽ·¹ÀÌÅÍ Ã浹ȸÇÇ °æ·Î°èȹ (Collision-Free Path Planning for Robot Manipulator using SOM) : ÀÌÁ¾ÅÂ, ÀÌÁ¾¿ì, ´ëÇÑ»ê¾÷°øÇÐȸ, 1996

SOM °ú PRL À» ÀÌ¿ëÇÑ °íÀ¯¾ó±¼ ±â¹ÝÀÇ ¸Ó¸®µ¿ÀÛ ÀÎ½Ä ¹æ¹ý (A Head Gesture Recognition Method based on Eigenfaces using SOM and PRL) : ÀÌ¿ìÁø, Çѱ¹Á¤º¸Ã³¸®ÇÐȸ, 2000