Back-propagation

 

¿ªÀüÆÄ´Â ½Å°æ¸Á (Neural Network) À» ÈƷýÃÅ°±â À§ÇØ »ç¿ëÇÏ´Â ±â¼úÀÌ´Ù. ±×°ÍÀº ÇǵåÆ÷¿öµå (Feedforward) networks (feedback À̳ª loop °¡ ¾ø´Â network) À» À§Çؼ­¸¸ »ç¿ëÇÑ´Ù. ¿ªÀüÆÄ´Â ½Å°æ¼¼Æ÷ (Neuron) À» À§ÇØ »ç¿ëµÇ´Â ÀüÀÌÇÔ¼ö (transfer function, È°¼ºÈ­ ÇÔ¼ö (Activation Function)) °¡ ¹ÌºÐ°¡´É (differentiable) ÀÏ °ÍÀ» ¿ä±¸ÇÑ´Ù (±â¿ï±â °è»êÀ» À§ÇØ). ±× ±â¼úÀÇ ¿äÁö´Â ´ÙÀ½°ú °°´Ù.

  1. ½Å°æ¸Á¿¡ ÈÆ·Ã »ùÇÃÀ» ºÎ¿©ÇÑ´Ù.
  2. ½Å°æ¸ÁÀÇ Ãâ·Â°ú ±× »ùÇýֿ¡¼­ ¿ä±¸µÇ´Â Ãâ·ÂÀ» ºñ±³ÇÑ´Ù. °¢ Ãâ·Â ´º·±¿¡¼­ÀÇ ¿¡·¯¸¦ °è»êÇÑ´Ù.
  3. °¢ ´º·±¿¡ ´ëÇØ ¿¡·¯, ½ÇÁ¦ Ãâ·Â, scaling factor ¸¦ °è»êÇÏ°í, ¹Ù¶ó´Â °ªº¸´Ù ¾ó¸¶³ª ³ô°Å³ª ³·ÀºÁö °è»êÇÑ´Ù. ÀÌ°ÍÀÌ local error ÀÌ´Ù.
  4. °¢ ´º·±À¸·Î µé¾î¿À´Â (connection) ¿¡ ´ëÇØ °¡ÁßÄ¡¸¦ »ç¿ëÇؼ­, ÀÌÀü ·¹º§ÀÇ ´º·±¿¡ ´ëÇØ local error ¸¦ À§ÇÑ blame À» ÇÒ´çÇÑ´Ù.
  5. ÀÌÀü ·¹º§ÀÇ ´º·±¿¡ ´ëÇØ À§ÀÇ ´Ü°è¸¦ ¹Ýº¹ÇÑ´Ù. À̶§ °¢ ´º·±¿¡ ´ëÇØ error ·Î¼­ blame À» »ç¿ëÇÑ´Ù.

¾Ë°í¸®ÁòÀÇ À̸§¿¡¼­ ¾Ë¼öÀÖµíÀÌ, ¿¡·¯ (±× °á°ú·Î¼­ÀÇ ÇнÀ (Learning)) °¡ Ãâ·Â³ëµå·ÎºÎÅÍ ³»ºÎ³ëµå·Î ¿ªÀ¸·Î ÀüÆÄÇÑ´Ù. ±â¼úÀûÀ¸·Î ¸»ÇÏÀÚ¸é, ¿ªÀüÆÄ´Â º¯°æ°¡´ÉÇÑ °¡ÁßÄ¡ (weight) ¿¡ ´ëÇØ ³×Æ®¿öÅ©ÀÇ ¿¡·¯ÀÇ ±â¿ï±â¸¦ °è»êÇϴµ¥ »ç¿ëµÈ´Ù. ¿©±â¼­ÀÇ ±â¿ï±â´Â ¿¡·¯¸¦ ÃÖ¼ÒÈ­ÇÏ´Â °¡ÁßÄ¡¸¦ ã±âÀ§ÇÑ È®·üÀû ±â¿ï±â ÇÏ°­ (Gradient Descent) ¿¡¼­ º¸Åë »ç¿ëµÈ´Ù. º¸Åë "¿ªÀüÆÄ" ¶ó´Â ¿ë¾î´Â, ±â¿ï±âÀÇ °è»ê°ú È®·üÀû gradient descent ¿¡¼­ÀÇ »ç¿ë, µÑ´Ù¸¦ Æ÷ÇÔÇÏ´Â ÀüüÀÇ °úÁ¤À» ÀǹÌÇÏ´Â °ÍÀ¸·Î ÀϹÝÀûÀ¸·Î »ç¿ëµÈ´Ù. ¿ªÀüÆÄ´Â º¸Åë ÀûÀýÇÑ Á¾·ùÀÇ ³×Æ®¿öÅ©¿¡¼­ local minima ¿¡ ºü¸£°Ô ¼ö·ÅÇÏ°Ô ÇÑ´Ù. ±â¿ï±â¸¦ °è»êÇÏ´Â ¿ªÀüÆÄ ¾Ë°í¸®ÁòÀº ¿©·¯¹ø¿¡ °ÉÃÄ ±× Á߿伺ÀÌ Àç¹ß°ßµÇ¾úÀ¸¸ç, reverse accumulation mode ¿¡¼­ ¾Ë°í¸®ÁòÀû ¹ÌºÐ (algorithmic differentiation) À̶ó ºÒ¸®´Â º¸´Ù ÀϹÝÀûÀÎ ±â¼úÀÇ Æ¯º°ÇÑ ÄÉÀ̽ºÀÌ´Ù. ......... (Wikipedia : Backpropagaion)

Backpropagation ÇнÀ ¾Ë°í¸®ÁòÀº ÃÖ¼ÒÆò±ÕÀڽ ¾Ë°í¸®Áò (Least Mean Square Algorithm) ÀÇ ºñ¼±ÇüÀûÀÎ È®ÀåÀÌ´Ù. Backpropagation ÇнÀ ¾Ë°í¸®ÁòÀº ¹ÌºÐÀÇ ¹Ýº¹±ÔÄ¢ (chain-rule) À» ¿©·¯¹ø ¹Ýº¹ÀûÀ¸·Î Àû¿ëÇÏ¿© È®·ü ±Ù»çÄ¡ ÇÁ·¹ÀÓ¿öÅ© (stochastic-approximation framework) ¿Í °ü·ÃÁö¿òÀ¸·Î½á À¯µµÇس¾ ¼ö ÀÖ´Ù.

David Rumelhart µîÀº 1980 ³â´ë ÈĹݿ¡ ÃâÆÇµÈ "º´·ÄºÐ»êó¸® (Parallel Distributed Processing)" À̶õ Àú¼­¿¡¼­ Backpropagation ¾Ë°í¸®ÁòÀ» ³Î¸® À¯Çà½ÃÄ×´Ù. ..... PDP ¿¬±¸ÆÀÀº ÀϹÝÈ­ µ¨Å¸ ±ÔÄ¢ (generalized delta rule) À̶ó°í ºÒ¸®´Â Backpropagation ¾Ë°í¸®ÁòÀ» Á¦¾ÈÇÏ¿´´Ù. ÀÌ°ÍÀº ¹Î½ºÅ°¿Í ÆÄÆÛÆ®°¡ »ó¼¼È÷ ºÐ¼®ÇÑ perceptron ¸ðµ¨ÀÇ Á¦ÇÑÁ¡µéÀ» ±Øº¹ÇßÀ¸¸ç, ÀÌ·Î½á ½Ê¿©³â °£ ħüÇß´ø ½Å°æ¸Á ¿¬±¸¿¡ »õ·Î¿î ÀåÀ» ¿­¾ú´Ù.

ÀÌ ¾Ë°í¸®ÁòÀº ¸¹Àº ÄÄÇ»ÅÍ °ü·Ã °úÇÐÀÚµé°ú ÀÎÁö°úÇÐÀÚµéÀÌ ½Å°æ¸Á À̷аú ÀÀ¿ëµéÀ» ÅëĪÇÏ¿© Áñ°Ü ºÎ¸£´Â ¿¬°áÁÖÀÇ (Connectionism) ÀÇ °³°¡ÀÌ´Ù. ±× ¹«·Æ Sejnowski ´Â Backpropagation ÇнÀ ¾Ë°í¸®ÁòÀ» »ç¿ëÇÏ¿© ÅؽºÆ® (text) ¸¦ À½¼º (speech) À¸·Î ÇÕ¼ºÇÏ´Â NETtalk ½Ã¹Ä·¹À̼ǿ¡ »ç¿ëÇÏ¿´´Ù. Backpropagation ¾Ë°í¸®ÁòÀÌ ¼Ò°³µÈ PDP Ã¥Àº ½Å°æ¸Á¿¡ °ü·ÃµÈ Âü°í ¹®ÇåÀ¸·Î ³Î¸® »ç¿ëµÇ¾úÀ¸¸ç ¼ö ¸¹Àº Backpropagation ¼ÒÇÁÆ®¿þ¾îµéÀÌ °³¹ßµÇ±â ½ÃÀÛÇß´Ù. ¶ÇÇÑ ÁÖ½Ä ½ÃÀåÀÇ ¿¹Ãø µî ±â¼úÀûÀÎ ÀÀ¿ë ºÐ¾ß¿¡ ´ëÇÑ ¼ö ¸¹Àº ½Ã¹Ä·¹À̼ÇÀÌ ½ÃµµµÇ¾úÀ¸¸ç, ±× °á°úµéÀÌ Çмú´ëȸ¿¡ º¸°íµÇ¾ú´Ù.

¸¹Àº »ç¶÷µéÀº ÈÆ·ÃÀ» ÅëÇÑ ÀÌ »õ·Î¿î ÇнÀ ¹æ¹ýÀÌ ±â°èÁö´É (machine intelligence, ±â°èÇнÀ (Machine Learning)) ÀÇ »õ·Î¿î ÀåÀ» ¿©´Â ³î¶ó¿î ¹æ¹ýÀ̶ó´Â ÀνĿ¡¼­ °øÀå ÀÚµ¿È­, ½Ç½Ã°£ À½¼ºÀνÄ, ´Ù¸¥ ¾ð¾î°£ÀÇ ¹ø¿ª, ·Îº¿¿Í °°Àº ºÐ¾ßµé¿¡ÀÇ ÀÀ¿ë °¡´É¼ºÀ» ¸Å¿ì ¹à°Ô º¸¾Ò´Ù. ÀϺΠ»ý¸®ÇÐÀÚ (pysiologist) µéÀº ÀÌ Backpropagation ¾Ë°í¸®ÁòÀ» Àΰ£ÀÇ µÎ³ú (brain) ¹× ÁßÃß½Å°æ ½Ã½ºÅÛÀ¸·Î±îÁö ¿©°å´Ù. ÀÌ¿Í ´õºÒ¾î Backpropagation ÇнÀ ¾Ë°í¸®ÁòÀÇ ´ÜÁ¡µéµµ µå·¯³µ´Ù. ù°, ÀÌ ¾Ë°í¸®ÁòÀº ¼ö·Å¿¡ Á¾Á¾ ½ÇÆÐÇÏ°í Áö¿ª ÃÖ¼Ò°ª (local minimum) ¿¡ ºÀÂøÇÑ´Ù. µÑ°, Backpropagation Àº ºñÁö¿ª¼º (nonlocality), µ¿½Ã¼º (synchrony), °¨µ¶ (supervision) °ú ±ä ÈÆ·Ã ½Ã°£ µîÀ¸·Î »ý¹°ÇÐÀûÀÎ ½Å°æ¸Á°ú´Â »ó´çÇÑ Â÷ÀÌÁ¡ÀÌ ÀÖ´Ù. ¼Â°, Backpropagation Àº ºÒ¿¬¼Ó ½Ã¹Ä·¹À̼ǿ¡¼­ Ç×»ó ¼ö·ÅÇÏ´Â °ÍÀº ¾Æ´Ï´Ù. Áï, ÃʱâÀÇ »óŸ¦ ¾î¶»°Ô ¼±ÅÃÇÏ´À³Ä¿¡ µû¶ó Áøµ¿Çϰųª (oscillation), ÃÖ¾ÇÀÇ °æ¿ì¿¡´Â Á¦¸Ú´ë·Î ¹æȲ (chaotic wandering) Çϱ⵵ ÇÑ´Ù.

¾î¶² Backpropagation ¿ËÈ£·ÐÀÚµéÀº ÀÌ ¾Ë°í¸®ÁòÀÌ ¿¬°á°­µµ °ø°£ (weight space) ÀÇ ½Ã³À½º (Synapse) ¿¡¼­ ¿ÀÂ÷ÀÇ Ç¥¸é (error surface) ÀÌ ±â¿ï±â¸¦ µû¶ó°¡´Â (gradient descent) ¹æ¹ýÀ¸·Î ¼öÇàµÇ±â ¶§¹®¿¡ ¸¸¾à ½Ã¹Ä·¹À̼ÇÀÇ °£°ÝÀ» ÃæºÐÈ÷ ÀÛ°Ô ÇÑ´Ù¸é Ç×»ó ¼ö·ÅÇÏ°Ô µÈ´Ù°í ÁÖÀåÇÑ´Ù. ±×·¯³ª ÀÌ·± ÁÖÀåÀº ÀÌ ¾Ë°í¸®ÁòÀÇ Åë°èÀûÀÎ ¼ºÁúÀ» °£°úÇÑ °ÍÀ̶ó°í º¼ ¼ö ÀÖ´Ù. Backpropagation ¾Ë°í¸®ÁòÀº ±×°ÍÀÌ ¼ö·ÅÇÒ °æ¿ì¿¡µµ Áö¿ª ÃÖ¼Ò¿À·ù (local minimum error) ¿¡ ¼ö·ÅÇϱ⵵ ÇÑ´Ù. ÀÌ ¾Ë°í¸®ÁòÀÇ ¿ËÈ£·ÐÀڵ鵵 ÀÌ Á¡À» ÀÎÁ¤ÇÏÁö¸¸, ±×µé Áß ¸î¸îÀº ¿¬°á°­µµ °ø°£ÀÇ Â÷¿øÀÌ ¸Å¿ì Ŭ °æ¿ì¿¡´Â Áö¿ª ÃÖ¼Ò°ªÀÌ °ÅÀÇ »ý±âÁö ¾Ê´Â´Ù´Â ÁÖÀåÀÌ´Ù. ÀÌ Á¡Àº ¸î¸î Â÷¿øÀÇ Backpropagation ¿¡¼­´Â ¼º°øÀûÀÎ ½Ã¹Ä·¹À̼ÇÀ» ÀÔÁõÇß´Ù.

Backpropagation ¿¡ ´ëÇÑ ºñÆÇÀûÀÎ ½Ã°¢Àº ¸¹Àº Backpropagation ¿¬±¸°¡µéÀÌ ¼­·Î ÀڱⰡ óÀ½À¸·Î Backpropagation À» °³¹ßÇß´Ù°í ÁÖÀåÇÏ´Â µ¥¿¡µµ ¹®Á¦°¡ ÀÖ´Ù. ÀÌ Backpropagation ¿¡ °üÇÑ ±â·ÏÀ» º¸¸é Parker °¡ 80³â´ë ÃÊ¿¡ 'ÇнÀ ³í¸® (learning logic)' ·Î¼­ÀÇ ÀÌ ¾Ë°í¸®ÁòÀ» À¯µµÇß°í, Paul Werbos ´Â 1974³â Harvard ´ëÇÐÀÇ ¹Ú»çÇÐÀ§ ³í¹®À¸·Î 'Dynamic feedback' À» À¯µµÇß´Ù. ¿þº¸½º´Â Backpropagation À» Åë°èÀûÀ¸·Î °ø½ÄÈ­ÇßÀ¸¸ç ÀÌ ¾Ë°í¸®ÁòÀ» 1970 ³â´ë¿Í 1980 ³â´ë¿¡ °æ±â¿¹Ãø°ú ¿©·¯ ¹®Á¦µé¿¡ ÀÀ¿ëÇÏ¿´´Ù. ÀÌ ¾Ë°í¸®ÁòÀº ¾î¼¸é ±× ÀÌÀüºÎÅÍ Á¸ÀçÇß´ÂÁöµµ ¸ð¸¥´Ù.

¶Ç ´Ù¸¥ ºñÆòÀûÀÎ °üÁ¡À¸·Î´Â Backpropagation ÇнÀÀÌ °ú¿¬ »õ·Î¿î °ÍÀ̾ú³Ä´Â °ÍÀÌ´Ù. ±× ¹®Á¦´Â ´©°¡ Á¦ÀÏ ¸ÕÀú ÀÌ ¾Ë°í¸®ÁòÀ» À¯µµÇß´À³Ä°¡ ¾Æ´Ï¶ó ¾Ë°í¸®ÁòÀÌ ÀÌ¹Ì Á¸ÀçÇß´ø °Í°ú ´Ù¸£³Ä´Â °ÍÀÌ´Ù. White ´Â Backpropagation À» 1950 ³â´ë¿¡ È®·ü ±Ù»ç (stochastic approximation) ·Î ±ÍÂø½ÃÄ×´Ù . µû¶ó¼­ ÀÌ ¾Ë°í¸®ÁòÀº »õ·Î¿î Á¾·ùÀÇ ÇнÀ ¹æ¹ýÀ» Á¦½ÃÇÏÁö ¸øÇß´Ù. ±× ´ë½Å Backpropagation Àº Åë°èÇÐÀÌ ¿À·¡ÀüºÎÅÍ Å½±¸ÇسõÀº ÃßÁ¤ (estimation) ¹æ¹ýÀ» ±¸ÇöÇÏ´Â °è»êÀûÀ¸·Î È¿°úÀûÀÎ ¹æ¹ýÀ» Á¦½ÃÇß´Ù. ÃÖ±Ù¿¡ (1989) È­ÀÌÆ®´Â Backpropagation ¾Ë°í¸®ÁòÀ» È®·ü ±Ù»çÀÇ ÇÑ Æ¯¼öÇÑ °æ¿ìÀÎ °ÍÀ¸·Î ±ÍÂø½ÃÄ×´Ù. ...... (±è´ë¼ö 1992)

term :

¿ªÀüÆÄ (Back-propagation)     ½Å°æ¸Á (Neural Network)   ÁöµµÇнÀ (Supervised Learning)    ¸Ó½Å·¯´× (Machine Learning)

site :

Backpropagation Network : Neural Networks at your Fingertips

paper :

Backpropagation ÇнÀ ¾Ë°í¸®Áò : ±è´ë¼ö

¿À·ù ÈÄÁøÀüÆÄ¿¡ ÀÇÇÑ ÇнÀ : Philip N. Johnson-Laird

Backpropagation Network ÀÇ Autoassociation Memory ±â¹ýÀ» ÅëÇÑ ÆÐÅÏÀνĿ¡ ÀÀ¿ë (Pattern Recognition Application Using Autoassociative Backpropagation Network) : Áø¼ºÀÏ, ±èÀÎö, ¹è°Ç¼º, °æºÏ´ë ÀüÀÚ±â¼ú¿¬±¸Áö, 1990

Backpropagation ¾Ë°í¸®ÁòÀ» ÀÌ¿ëÇÑ ¿îµ¿¿ªÇÐÀû ÀÚ·áÀÇ ½º¹«µù (Smoothing Biomechanical Data with Backpropagation Algorithm in Neural Network) : ±è¼ºÀÏ.±èÁø¿í.±è±âÇü, Çѱ¹Ã¼À°ÇÐȸ, 2001

video :

ÀΰøÁö´ÉÀ» À§ÇÑ ¸Ó½Å·¯´× ¾Ë°í¸®Áò 7°­ - ¿ªÀüÆÄ : SKtechx Tacademy : 2017/07/06 ... µ¿¿µ»ó 15°³