½Å°æ¸ÁÀ̶õ ¹«¾ùÀΰ¡?

 

Wikipedia : Neural network   Biologically-inspired computing   Connectionism

½Å°æ¸ÁÀº »ý¹°ÇÐ ¸ðµ¨À» ¹ÙÅÁÀ¸·ÎÇÑ  ÄÄÇ»ÆÃÀÇ ÇÑ ÇüÅ·μ­, layer ·Î Á¶Á÷µÈ ¸¹Àº¼öÀÇ Ã³¸® ¿ä¼Ò·Î ±¸¼ºµÈ ¼öÇÐ ¸ðµ¨, ¿ÜºÎÀԷ¿¡ ¹ÝÀÀÇÏ¿© µ¿ÀûÀ¸·Î Á¤º¸¸¦ ó¸®ÇÏ´Â ¸¹Àº °£´ÜÇÏÁö¸¸ °íµµ·Î »óÈ£ ¿¬°áµÈ 󸮿ä¼Ò·Î ±¸¼ºµÈ ÄÄÇ»ÅÍ ½Ã½ºÅÛ µîÀ¸·Î Á¤ÀǵȴÙ.

¿ì¸®°¡ ½Å°æ¸ÁÀ» ¾ð±ÞÇÒ ¶§ Á¤È®È÷ Ç¥ÇöÇÏ·Á¸é "artificial neural network" (ANN) À̶ó°í ÇؾßÇÑ´Ù. ¿Ö³ÄÇÏ¸é ¿ì¸®´Â ±×°ÍÀ» ÄÄÇ»Å͸¦ È°¿ëÇÑ °¡»ó ½Å°æ¸ÁÀ» ÀǹÌÇÏ´Â °ÍÀ̱⠶§¹®ÀÌ´Ù. »ý¹°¿¡¼­ÀÇ ½Å°æ¸ÁÀº ¿ì¸®°¡ »ç¿ëÇÏ´Â ¼öÇÐÀû ¸ðµ¨¿¡ ºñÇØ ÈξÀ ´õ º¹ÀâÇÏ´Ù ........ ´ëºÎºÐÀÇ ½Å°æ¸ÁÀº ÀÏÁ¾ÀÇ "training" rule À» °¡Áö°í À־ °¢ connections ÀÇ °¡ÁßÄ¡¸¦ training data ¿¡ ±âÃÊÇؼ­ Á¶Á¤Çϵµ·Ï ÇÏ°í ÀÖ´Ù. Áï ½Å°æ¸ÁÀº ¾î¸°ÀÌ°¡ »ç¹°À» ÀνÄÇÏ´Â °úÁ¤Ã³·³ examples ·ÎºÎÅÍ "learn" ÇÏ°í ¸¶Ä§³»´Â training data ¸¦ ¶Ù¾î³Ñ¾î ÀϹÝÈ­ÇÒ ¼ö ÀÖ´Â ´É·ÂÀ» º¸ÀÌ°Ô µÈ´Ù .............. (Warren S. Sarle 1997)

»ý¹°ÇÐÀû ´º·±

Àΰø ´º·±

(Neuron) cell (½Å°æ¼¼Æ÷)

Synapse

Excitatory input (ÈïºÐ ÀÔ·Â)

Inhibitory input (¾ïÁ¦ ÀÔ·Â)

(spiking) frequency ¿¡ ÀÇÇÑ È°¼ºÈ­

¼¼Æ÷ ¹°¸®Çп¡ ÀÇÇØ Á¦ÇѵǴ Ȱµ¿¹üÀ§
 

Unit

Interconnection weight (¿¬°á °¡ÁßÄ¡)

(Large) positive interconnection weight

(Large) negative interconnection weight

DC level

squashing function ¿¡ ÀÇÇØ Á¦ÇѵǴ Ȱµ¿¹üÀ§

................. (Robert J. Schalkoff 1997) 

Storage is very fault tolerant  : net ÀÇ ÀϺκÐÀÌ Á¦°ÅµÉ¼ö ÀÖ´Ù. ±×·³À¸·Î½á ÀúÀåµÈ dataÀÇ Áú¿¡ À־ degradationÀÌ ÀÖÀ»»ÓÀÌ´Ù. ÀÌ°ÍÀº ºÐ»êÇüÅ·ΠÁ¤º¸°¡ ÀúÀåµÇ±â ¶§¹®¿¡ °¡´ÉÇÏ´Ù.

ÀúÀåµÈ imageÀÇ ÁúÀº Á¦°ÅµÈ net ÀÇ ¾ç¿¡ ºñ·ÊÇÏ¿© degrade ÇÑ´Ù : Á¤º¸°¡ ¾öû³ª°Ô »ó½ÇµÇÁö´Â ¾Ê´Â´Ù. storage¿Í quality feature´Â ¶ÇÇÑ hologramÀÇ Æ¯Â¡ÀÌ´Ù.

Data°¡ associative memoryÇüÅ·ΠÀÚ¿¬½º·´°Ô ÀúÀåµÈ´Ù : associative memory ´Â ºÎºÐÀûÀÎ data ·Î¼­ ÀúÀåµÇ¾î ÀÖ´Â Àüü Á¤º¸¸¦ recal lÇϱ⿡ ÃæºÐÇÑ ±¸Á¶ÀÌ´Ù. ÀÌ°ÍÀº recal lÇÒ dataÀÇ Áּҷμ­ Á¢±ÙÇÏ´Â ±âÁ¸ memory ¿Í ºñ±³µÇ´Â °ÍÀÌ´Ù. partial or noisy input À¸·Îµµ ¿ø·¡ÀÇ Àüü Á¤º¸¸¦ À̲ø¾î ³¾¼ö ÀÖ´Ù.

Net ´Â ÀúÀåµÇ¾î ÀÖ´Â Á¤º¸·ÎºÎÅÍ extrapolate ¿Í interpolate ÇÒ¼ö ÀÖ´Ù : training ¿¡ ÀÇÇØ data¿¡¼­ Áß¿äÇÑ feature ³ª °ü°èµéÀ» ã¾Æ ³»µµ·Ï net ¸¦ °¡¸£Ä¥¼ö ÀÖ´Ù.±×·± ÈÄ¿¡ net ´Â »õ·Î¿î data ¿¡ ´ëÇÑ °ü°èµéÀ» extrapolate ÇÒ¼ö ÀÖ´Ù. ÇÑ ½ÇÇè¿¡¼­ neural net ÀÌ 24 ¸íÀÇ °¡»ó Àι°ÀÇ °¡Á·°ü°è¿¡ ´ëÇØ ÈÆ·ÃÀ» ¹ÞÀºÈÄ¿¡ ÈÆ·ÃÀÌ µÇÁö ¾Ê¾Ò´ø °ü°è¿¡ ´ëÇؼ­µµ Á¤È®ÇÏ°Ô ´äÇÒ¼ö ÀÖ¾ú´Ù.

Net´Â plasticity¸¦ °¡Áö°í ÀÖ´Ù : ºñ·Ï ¸¹Àº ¼öÀÇ neuronÀÌ Á¦°Å µÇ´õ¶óµµ ÃæºÐÇÑ neuronÀÌ ³²¾Æ ÀÖ´Ù¸é net´Â ¿ø·¡ÀÇ skill levelÀ» À¯ÁöÇÒ¼ö ÀÖ´Ù. ÀÌ°ÍÀº ÀϺκÐÀÌ Æı«µÇ´õ¶óµµ Á¦¶§¿¡ ´Ù½Ã ÇнÀ (relearn)ÀÌ µÉ¼ö ÀÖ´Â ³úÀÇ Æ¯¼º°ú °°´Ù.

³ú ¼ÓÀÇ °³º° ½Å°æ¼¼Æ÷µéó·³ µðÁöÅÐ ½Å°æ¼¼Æ÷µµ ¿ì¸®ÀÇ ¿¹Ãø´ë·Î, ÀÔ·Â ½ÅÈ£ÀÇ ÇÕÀÌ ÇѰ踦 ³ÑÀ» ¶§ ¹ßÈ­ÇÑ´Ù. µû¶ó¼­ »ý¹°ÇÐÀû ½Å°æ¼¼Æ÷³ª µðÁöÅÐ ½Å°æ¼¼Æ÷ó·³ °³º°ÀûÀÎ ½Å°æ¼¼Æ÷µéÀº ÇöÀç ÁøÇàµÇ°í ÀÖ´Â ÀÏÀ» ¾ËÁö´Â ¸øÇÏÁö¸¸ (Áß±¹¾î ¹æ ¾È¿¡ ÀÖ´Â Á¸Ã³·³), ÇÔ²² È°µ¿ÇÏ´Â ½Å°æ¼¼Æ÷ ±ºÁßÀº »óȲÀ» ÀÌÇØÇÒ ÁÙ ¾È´Ù......

Á¶±Ý ´õ ±íÀÌ µé¾î°¡º¸ÀÚ. µðÁöÅÐ ½Å°æ¼¼Æ÷´Â ±× ÀÛ¿ë ¹æ½Äµµ »ý¹°ÇÐÀû ½Å°æ¼¼Æ÷¿Í »ó´çÈ÷ ºñ½ÁÇÏ´Ù. »¡´ë°¡ µÎ °³ ²ÈÈù Æ÷µµÁÖ ÀÜÀ» ±â¾ïÇϴ°¡? ÀÜÀ¸·Î µé¾î¿À´Â Æ÷µµÁÖÀÇ ÃÑÇÕÀÌ ÀÜÀÇ ¿ë·®À» ÃÊ°úÇÒ ¶§ ¿©·¯ºÐÀº ¹ú¶± ÀϾ ¼Ò¸®¸¦ Áú·¶°í, ÀÌ°ÍÀº ÀԷ¹°ÀÌ ÇѰ踦 ÃÊ°úÇÏ¸é ½Å°æ¼¼Æ÷°¡ ÇϳªÀÇ ÆÞ½º¸¦ ¹ßÈ­ÇÏ´Â °Í°ú °°¾Ò´Ù. µðÁöÅÐ ½Å°æ¼¼Æ÷µµ ÀÌ¿Í ¶È°°ÀÌ ÀÛµ¿ÇÑ´Ù. ÀÏ·ÃÀÇ ÀԷ¹°ÀÌ ÁÖ¾îÁö¸é ½Å°æ¼¼Æ÷´Â ±× °¡Áß ÃÑÇÕÀ» °è»êÇÑ ´ÙÀ½, ±× °ªÀÌ ÇÑ°èÄ¡ ÀÌ»óÀ̸é 1 À» Ãâ·ÂÇÏ°í ÇÑ°èÄ¡ ÀÌÇÏÀ̸é 0 À» Ãâ·ÂÇÑ´Ù.

³ª´Â ¹æ±Ý '°¡Áß ÃÑÇÕ' À̶ó°í ¸»Çß´Ù. Æ÷µµÁÖ ÀÜ¿¡ ²ÈÈù µÎ °³ÀÇ »¡´ë´Â ±½±â°¡ ¼­·Î ´Þ¶ú´Ù. ±×°ÍÀº ¿ì¸®ÀÇ ½Å°æ¼¼Æ÷°¡ µÎ ½Å°æ¼¼Æ÷ Áß Çϳª¿¡¼­ º¸³»´Â ½ÅÈ£¿¡ 'Á»´õ °ü½ÉÀ» ±â¿ïÀÌ´Â °Í' ¿¡ ÇØ´çÇÑ´Ù. µðÁöÅÐ ½Å°æ¼¼Æ÷ÀÇ °æ¿ìµµ ÀÌ¿Í ¶È°°Àº '»¡´ë ±½±â' ÀÇ È¿°ú¸¦ ³»±â À§ÇØ, ¸ðµç ÀÔ·ÂÀº °¡ÁßÄ¡ °ªÀ» °®´Â´Ù. ±×·¡¼­ µÎ ÀԷºο¡¼­ ½ÅÈ£ 1 À» º¸³»µµ, ¿ÞÂÊ ÀÔ·ÂÀÌ 0.5 ÀÇ °¡ÁßÄ¡ÀÌ°í ¿À¸¥ÂÊ ÀÔ·ÂÀÌ 1.0 ÀÇ °¡ÁßÄ¡À̸é, ÀԷ¹°ÀÇ °¡Áß ÃÑÇÕÀº 1 × 0.5 + 1 × 1.0 = 1.5 °¡ µÈ´Ù. ´Ù½Ã ¸»ÇØ ¿ÞÂÊ ÀÔ·ÂÀÇ »¡´ë°¡ ¿À¸¥ÂÊÀÇ Àý¹ÝÀÌ°í, ±×·¡¼­ ¿À¸¥ÂÊ ÀԷ¹°ÀÇ È¿°ú°¡ ¿ÞÂÊÀÇ 2 ¹è°¡ µÇ´Â °ÍÀÌ´Ù. ÇÑ °ÉÀ½ ´õ µé¾î°¡º¸ÀÚ. ¸¸¾à ÇÑ°èÄ¡°¡ 0.75 ¶ó¸é ÀÌ °æ¿ì ½Å°æ¼¼Æ÷´Â 1 À» Ãâ·ÂÇÒ °ÍÀÌ´Ù. ÀԷ¹°ÀÇ °¡Áß ÃÑÇÕÀÎ 1.5 °¡ ±× ÇÑ°èÄ¡º¸´Ù ³ô±â ¶§¹®ÀÌ´Ù. ¸¸¾à µÎ ÀԷ¹° Áß ¾î´À Çϳª¸¦ ÀÌ¿ëÇؼ­ ½Å°æ¼¼Æ÷¸¦ ÀÚ±ØÇÏ´Â ´ë½Å ¾ïÁ¦Çϱ⸦ ¿øÇÑ´Ù¸é, °£´ÜÈ÷ ¸¶À̳ʽº °¡ÁßÄ¡¸¦ ÀÌ¿ëÇÏ¸é µÉ °ÍÀÌ´Ù.

ÀÌ·± ¸é¿¡¼­ ÀϹÝÀûÀ¸·Î µðÁöÅÐ ½Å°æ¼¼Æ÷°¡ ´õ º¹ÀâÇÏ´Ù°í ÇÒ ¼ö ÀÖ´Ù. ´ÜÁö °¡Áß ÃÑÇÕÀÌ ÇÑ°èÄ¡ ÀÌ»óÀΰ¡ ¾Æ´Ñ°¡¿¡ µû¶ó 1 À̳ª 0 À» Ãâ·ÂÇÏ´Â ´ë½Å, µðÁöÅÐ ½Å°æ¼¼Æ÷´Â ÀԷ¹°µéÀÇ °¡Áß ÃÑÇÕÀ» °è»êÇÏ°í, ¿©±â¿¡¼­ ÇÑ°èÄ¡¸¦ »« ´ÙÀ½, ±× °ªÀ» °ð¹Ù·Î Ãâ·ÂÇÑ´Ù. ±×·¯³ª µðÁöÅÐ ½Å°æ¼¼Æ÷ÀÇ ÀÛµ¿ ¹æ½ÄÀº »ý¹°ÇÐÀû ½Å°æ¼¼Æ÷¿Í ºñ½ÁÇÏ´Ù. ³ôÀº Ãâ·Â°ªÀº ÀÏ·ÃÀÇ ºü¸¥ ÆÞ½º¿¡ ÇØ´çÇÏ°í, ³·Àº Ãâ·Â°ªÀº ÀÏ·ÃÀÇ ´À¸° ÆÞ½º¿¡ ÇØ´çÇÑ´Ù.

±×·¯³ª °á±¹ ÀÌ·± Á¾·ùÀÇ ½Å°æ¼¼Æ÷, À̸¥ ¹Ù 'Áö°¢ÀÚ (perceptron)' ´Â ÀϹÝÈ­µÇÁö ¸øÇß´Ù. Ãâ·ÂÀÌ ´ÜÁö ´Ü¼±ÀûÀ¸·Î ÀԷ¿¡ ¹ÝÀÀÇϱ⠶§¹®¿¡ ½Å°æ¼¼Æ÷°¡ ¹è¿ï ¼ö ÀÖ´Â ±â´ÉÀº ¾ÆÁÖ ±âÃÊÀûÀÌ°í ¼±ÇüÀûÀÎ °Í¿¡ ºÒ°úÇÏ´Ù. ÀÌ°ÍÀº ´ÜÁö ÀÔ·ÂÀÇ º¯È­°¡ Ãâ·ÂÀÇ º¯È­·Î À̾îÁø´Ù´Â °Í¸¸À» ÀǹÌÇÑ´Ù. ¾î¶² ÀԷ¹°¿¡ ÀÛÀº º¯È­¸¦ °¡Çϸé Ãâ·Â¹°¿¡µµ ±×¿¡ µû¸¥ ÀÛÀº º¯È­°¡ ¹ß»ýÇÒ »ÓÀÌ´Ù. Ãâ·ÂÀÌ ÀԷ¿¡ Á¤ºñ·ÊÇÑ´Ù¸é ±× ½Å°æ¼¼Æ÷´Â ´Ù¼Ò Áö·çÇÏ°í ºñÈ¿°úÀûÀÏ °ÍÀÌ´Ù.

ÀÌ Á¡À» ±Øº¹Çϱâ À§ÇØ ¿À´Ã³¯ ÀϹÝÀûÀÎ µðÁöÅÐ ½Å°æ¼¼Æ÷¿¡´Â ÇÑ °¡Áö ºñ°áÀÌ Ãß°¡µÇ¾ú´Ù. ÀÏ´Ü ÀԷ¹°µéÀÇ °¡Áß ÃÑÇÕÀ» °è»êÇÏ°í ÇÑ°èÄ¡¸¦ »©°í ³ª¸é, ½Å°æ¼¼Æ÷´Â ±× °ªÀ» º¯Çü½ÃŲ´Ù. ÀÌ°ÍÀº Àü¼Û ÇÔ¼ö³ª È°¼ºÈ­ ÇÔ¼ö·Î °è»êµÇ´Âµ¥, ´ë°³ S ÀÚÇü °î¼± (sigmoid curve) ÀÌ ÀÌ¿ëµÈ´Ù. ¿©·¯ºÐÀÌ ¼öÇÐÀ» ÁÁ¾ÆÇÏ´ÂÁö ¸ð¸£°ÚÁö¸¸, ÀϹÝÀûÀÎ ÇÔ¼ö´Â y = 1/(1 + e-x) ÀÌ´Ù. ³ªµµ ±×·¸Áö¸¸, ÀÌ ÇÔ¼öÀÇ Àǹ̰¡ º°·Î °¨µ¿ÀûÀÌÁö ¾Ê´Ù Çصµ °ÆÁ¤ÇÒ ÇÊ¿ä´Â ¾ø´Ù. ±×°ÍÀº ´ÜÁö, ½Å°æ¼¼Æ÷°¡ ÀԷ¿¡ µû¶ó 0 À̳ª 1 ÀÇ °ªÀ» Ãâ·ÂÇÒ ¶§ ºñ¼±ÇüÀû ¹æ½ÄÀ» Àû¿ëÇÏ°Ô ÇÏ´Â ¹æ¹ýÀÏ »ÓÀÌ´Ù. ±×°ÍÀº ½Å°æ¼¼Æ÷°¡ ÀÌÁ¦ ¼±ÇüÀû ¹æ½Ä¿¡¼­ ¹þ¾î³ª ÈξÀ ´õ º¹ÀâÇÑ °ÍµéÀ» ¹è¿ï ¼ö ÀÖ°Ô µÇ¾úÀ½À» ÀǹÌÇÑ´Ù.

ÀÌ°ÍÀÌ ´ëÇ¥ÀûÀÎ µðÁöÅÐ ½Å°æ¼¼Æ÷ÀÌ´Ù. ±×°ÍÀº ¿ì¸®ÀÇ ÄÄÇ»ÅÍ ¾È¿¡ »ì¸é¼­ 0 À̳ª 1 ·Î µÈ ¼ö¸¹Àº ÀԷ¹°µéÀ» ¹Þ´Â´Ù. À̶§ ½Å°æ¼¼Æ÷´Â ±× ÀԷ¹°µéÀÇ °¡ÁßÄ¡¿Í ÇÕÀ» °è»êÇÏ°í ±× °ª¿¡¼­ ÇÑ°èÄ¡ÀÇ °ªÀ» »«´Ù. ±×¸®°í ºñ¼±ÇüÀû S ÀÚÇü ÇÔ¼ö¸¦ ÀÌ¿ëÇÏ¿© ±× °ªÀ» º¯Çü½ÃŲ ´ÙÀ½ °á°ú¸¦ Ãâ·ÂÇÑ´Ù. Ãâ·Â¹°Àº 0 À̳ª 1 ÀÇ °ªÀÌ´Ù. ............ ±×¸®°í ÀԷµǴ °ªµéÀº ´Ù¸¥ ½Å°æ¼¼Æ÷µé¿¡°Ô¼­ Àü´ÞµÇ´Âµ¥, ÀÌ ½Å°æ¼¼Æ÷µéÀº ÇϳªÀÇ ½Å°æ¸ÁÀ» ÀÌ·é´Ù ...................... (Peter J. Bentley 2001)