Statistical   Decision  Making

 

Pattern Recognition and Image Analysis : Earl Gose. Richard Johnsonbaugh. Steve Jost Àú¼­, Prentice Hall, 1996, Page 81~115

3.1  Introduction

ÀÌ°ÍÀº È®·üÀ̷п¡ ±Ù°ÅÇÑ decision making ¶Ç´Â classificationÀ» ÀǹÌÇÑ´Ù.Áï data·ÎºÎÅÍ ÃßÃâµÈ parameterµéÀ» Æ÷ÇÔÇÑ´Ù. Statistical Decision Making ¶ó°íµµ ÇÑ´Ù.

ÀÚµ¿ ÆÐÅÏÀνĿ¡¼­´Â supervised learning À̶ó´Â ¸»À» »ç¿ëÇÑ´Ù. Áï ±¸ºÐÇÏ·Á°í ÇÏ´Â °¢ class¿¡ ´ëÇÑ density functionÀ» Àß ¾Ë°í ÀÖ´Ù´Â °¡Á¤¿¡¼­ ½ÃÀÛÇÑ´Ù. °ü·ÃµÈ sample data¿¡¼­ parameterµéÀ» ÃßÃâÇÏ°í density¸¦ ¾Ë¾Æ³»¾î ÆÐÅÏÀÎ½Ä °úÁ¤À» ¼öÇàÇÑ´Ù.

Áï ¾Ë·ÁÁ®ÀÖ´Â classÀÇ ÆÐÅϵéÀÇ training setÀ» »ç¿ëÇؼ­ ƯÁ¤ decision making ±â¼ú·Î¼­ ¹Ì·¡ÀÇ À¯»çÇÑ sampleµéÀ» classifyÇس»´Â pattern classifier¸¦ ¼³°èÇÏ´Â °úÁ¤À» ÀǹÌÇÑ´Ù. ´Þ¸® ¸»Çϸé training data¸¦ »ç¿ëÇؼ­ ¼³°èµÇ´Â classifierÀÌ´Ù. °¢ ÆÐÅÏ¿¡ ´ëÇÑ class°¡ ¾Ë·ÁÁ®ÀÖ´Â ºÐ¸®µÈ test setÀ» »ç¿ëÇؼ­ »õ·Î¿î data¿¡ ´ëÇØ classifier°¡ Æí°ß¾ø´Â Á¤È®ÇÑ ºÐ·ù¸¦ ÇÒ ¼ö ÀÖ°Ô ÇØÁØ´Ù.

3.2  Bayes' Theorem

Bayes' Á¤¸®¸¦ ÀÌ¿ëÇÑ ÀÇ»ç °áÁ¤Àº feature °ªÀÌ ÁÖ¾îÁø »óÅ¿¡¼­ °¡Àå °¡´É¼ºÀÌ ÀÖ´Â class¸¦ ¼±ÅÃÇÏ´Â °ÍÀ» ¸»ÇÑ´Ù. Áï Bayes' Á¤¸®¸¦ ÀÌ¿ëÇÏ¿© class membership ÀÇ È®·üÀÌ °è»êµÈ´Ù. ¿©±â¼­´Â ÇϳªÀÇ º¯¼ö (single feature) ÀÇ °ª¿¡ ±âÃÊÇÑ classificationÀ» ¾ð±ÞÇÑ´Ù.

º¯¼ö °ªÀ» , ºÐ·ùÇÏ°íÀÚ ÇÏ´Â class¸¦ , Àüü ¸ðÁý´Ü¿¡¼­ º¯¼ö ¿¡ ´ëÇÑ È®·üºÐÆ÷¸¦ , ÀÓÀÇÀÇ sample ÀÌ class ¿¡ ¼ÓÇÒ »çÀüÈ®·ü , class ¿¡¼­ º¯¼ö °ª °¡ ¾ò¾îÁú Á¶°ÇºÎ È®·ü  ÀÌ ÁÖ¾îÁø´Ù.

¿ì¸®°¡ ¾ò°íÀÚ ÇÏ´Â °ÍÀº º¯¼ö °ª °¡ ÁÖ¾îÁø »óȲ¿¡¼­ sample ÀÌ class ¿¡ ¼ÓÇÒ È®·ü Áï À» ±¸ÇÏ´Â °ÍÀε¥, À̸¦ À§ÇØ  , , °ªÀÌ ÁÖ¾îÁø´Ù.

class ¿¡ ¼ÓÇϸ鼭 ÇϳªÀÇ º¯¼ö°ª (single feature)¸¦ °¡Áö´Â °æ¿ìÀÇ È®·üÀº ´ÙÀ½°ú °°´Ù.

À§ÀÇ ½ÄÀ» ´Ù½Ã Á¤¸®ÇÏ¸é ´ÙÀ½°ú °°Àº Bayes' Á¤¸®°¡ µÈ´Ù.

    


Example 3.1  ¾î¶² »ç¶÷ÀÌ ¿­ÀÌ ÀÖÀ» ¶§ °¨±â ÀÏ È®·üÀº ¾ó¸¶Àΰ¡?

µÎ °³ÀÇ class Áï °¨±âÀÎ °æ¿ì ¿Í ¾Æ´Ñ °æ¿ì ·Î ³ª´­ ¼ö ÀÖ´Ù. ¿­À̶ó°í ÇÏ´Â feature¸¦   ·Î µÎ¸é ±×°ÍÀº µÎ °³ÀÇ °ª (¿­ÀÌ ÀÖ´Â °Í, ¿­ÀÌ ¾ø´Â °Í)À» °¡Áø´Ù. ¾î¶² »ç¶÷ÀÌ °¨±âÀÏ »çÀü È®·ü  = 0.01 ÀÌ°í, °¨±â °É¸° »ç¶÷ÀÌ ¿­ÀÌ ÀÖÀ» È®·ü = 0.4 ÀÌ°í, ¾î¶² »ç¶÷ÀÌ ¿­ÀÌ ÀÖÀ» È®·ü (°¨±â °É¸° »ç¶÷°ú ¾È°É¸° »ç¶÷À» Æ÷ÇÔÇؼ­) = 0.02 ¶ó°í °¡Á¤ÇÑ´Ù.  ÀÌ·² °æ¿ì ¿­ÀÌ ÀÖ´Â »ç¶÷ÀÌ °¨±â¿¡ °É·ÈÀ» È®·üÀº ´ÙÀ½°ú °°ÀÌ ÃßÁ¤µÈ´Ù.


µÎ °³ÀÇ class ¸¸ ÀÖ°í µÎ °³ÀÇ °ª¸¸À» °¡Áö´Â ÇϳªÀÇ feature°¡ ÀÖÀ» °æ¿ì¸¦ Venn diagram À¸·Î ±×¸° ±×¸²ÀÌ´Ù. ÀÌ°ÍÀº ´ë°³ º¹ÀâÇÑ ¹®Á¦ÀÇ °æ¿ì¿¡´Â ÇØ´çµÇÁö ¾Ê´Â °ÍÀÌ´Ù.

Bayes' Á¤¸®¸¦ k °³ÀÇ class ÀÇ °æ¿ì¿¡ Àû¿ëÇغ¸ÀÚ. class µéÀÌ ,....., °¡ ÀÖ°í mutually exclusive ÇÏ¸ç ¸ðµç sample ÀÌ class ÁßÀÇ Çϳª¿¡ ¹Ýµå½Ã ¼ÓÇÑ´Ù°í °¡Á¤ÇÑ´Ù. ¸¸ÀÏ ÃÖÃÊÀÇ class Á¤ÀÇ¿¡¼­ »õ·Î¿î sample ÀÌ ¾î¶² class ¿¡µµ ¼ÓÇÏÁö ¾ÊÀ» °¡´É¼ºÀÌ ÀÖ´Ù¸é »õ·Î¿î class¸¦ ¸¸µé¾î¼­ ±× sampleÀ» Æ÷ÇÔÇÏ°Ô ÇÑ´Ù. ÃÖÃÊÀÇ class Á¤ÀÇ°¡ mutually exclusive ÇÏÁö ¾ÊÀ» °æ¿ì »õ·Î¿î mutually exclusive classµéÀ» Á¤ÀÇÇÏ¿© ÃÖÃÊÀÇ class ¸â¹öÀÇ °¡´ÉÇÑ Á¶ÇÕÀ» ÃëÇϵµ·Ï Á¤ÀÇµÉ ¼ö ÀÖ´Ù. ¿¹¸¦µé¸é ÇϳªÀÇ sampleÀÌ class  ¶Ç´Â ¿¡ ¼ÓÇϰųª µÑ´Ù¿¡ ¼ÓÇϰųª µÑ´Ù¿¡ ¼ÓÇÏÁö ¾ÊÀ» ¼ö°¡ ÀÖÀ» °æ¿ì ´ÙÀ½°ú °°Àº 4 °³ÀÇ »õ·Î¿î mutually exclusive class ( ) µéÀÌ Á¤ÀÇ µÉ ¼ö ÀÖ´Ù.  

 ´ë°³ °³ÀÇ class ¿¡ ´ëÇØ °³ÀÇ mutually exclusive class µéÀÌ Á¤ÀÇ µÉ ¼ö ÀÖ´Ù. ¸¸ÀÏ °¡´ÉÇÑ Á¶ÇÕÀÇ ¼ö°¡ ³Ê¹« Å©¸é ÀÌ¿ëÇÒ ¼ö ÀÖ´Â data ÀÇ ¾çÀÌ ÀÛ°Ô µÉ °ÍÀÌ°í µû¶ó¼­ È®·üÀÇ Á¤È®ÇÑ ±Ù»çÄ¡¸¦ ÁÖÁö ¾ÊÀ» °ÍÀÌ´Ù.

ÇϳªÀÇ sampleÀÌ Çϳª ÀÌ»óÀÇ class ¿¡ ¼ÓÇÒ ¼ö ÀÖ´Â -class ¹®Á¦¸¦ ÇØ°áÇÏ´Â ´Ù¸¥ ¹æ¹ýÀº °³ÀÇ ºÐ¸®µÈ two class ¹®Á¦·Î¼­ ³ª´©´Â °ÍÀÌ´Ù. Áï ±× sample ÀÌ class ¿¡ ¼ÓÇÏ´À³Ä ¾Æ´Ï³Ä? °í ¹¯´Â °ÍÀÌ´Ù. ÀÌ·¯ÇÑ ¹æ¹ýÀÇ ´ÜÁ¡Àº "not " ÀÎ class¸¦ ¹¦»çÇϱⰡ ¾î·Æ´Ù´Â °ÍÀÌ´Ù. ¿Ö³ÄÇÏ¸é ±×°ÍÀÌ "non " ÀÎ ¸î °³ÀÇ subclass¸¦ ÇÕÄ£ °ÍÀÏ ¼ö Àֱ⠶§¹®ÀÌ´Ù.

¸¸ÀÏ class °¡ mutually exclusive Çϸç joint event ÀÎ °¡ ¶ÇÇÑ mutually exclusive ÇÏ´Ù¸é µ¡¼À ¹ýÄ¢À» »ç¿ëÇÏ¿© ´ÙÀ½À» ±¸ÇÒ ¼ö ÀÖ´Ù.  

   (A)

class  ÀÎ °æ¿ìÀÇ Bayes' Á¤¸®´Â

À§ÀÇ µÎ ½Ä¿¡¼­ ¸¦ ´ëÀÔÇϸé classes ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®´Â ´ÙÀ½°ú °°´Ù.

       (B)

Example 3.1 ¿¡¼­, ¸¸ÀÏ ¿ì¸®°¡ Àüü ¸ðÁý´Ü¿¡¼­ ¿­ÀÌ ÀÖÀ» È®·ü  ¸¦ ¸ð¸£°í, °¨±âÀÎ »ç¶÷ÀÌ ¿­ÀÌ ÀÖÀ» È®·ü °ú °¨±â°¡ ¾Æ´Ñ »ç¶÷ÀÌ ¿­ÀÌ ÀÖÀ» È®·ü À» ¾È´Ù¸é, »çÀü È®·üÀ» »ç¿ëÇÏ¿© ¸¦ ´ÙÀ½°ú °°ÀÌ ±¸ÇÒ ¼ö ÀÖ´Ù. (½Ä (A) »ç¿ë)

È®·ü ´Â »çÀüÈ®·ü (prior probability) ¶ó°í ºÒ¸®¿ì´Âµ¥  feature°ªÀ» ¾Ë±â Àü¿¡ ¸ðÁý´Ü¿¡¼­ÀÇ class È®·üÀ̱⠶§¹®ÀÌ´Ù. »çÀü È®·üÀº training set À̳ª ´Ù¸¥ »óȲ¿¡¼­ ±¸ÇØÁø´Ù. Á¶°ÇºÎ È®·ü  ´Â »çÈÄÈ®·ü (posterior probability) À̶ó ºÒ¸®¿ì´Âµ¥ feature °ªÀ» ¹ß°ßÇÑ ÈÄ¿¡ È®·üÀ̱⠶§¹®ÀÌ´Ù.

Bayes' Á¤¸® (B) ½ÄÀ» ÀÌ¿ëÇÏ¿© µÎ class ( , )»çÀÌÀÇ likelihood ratio À» ±¸ÇÒ ¼ö ÀÖ´Ù.

   

(B) ½Ä¿¡¼­ÀÇ ¿À¸¥ÂÊ ½ÄÀÌ ´Ü¼øÈ­ µÇ¾î °è»êÀÌ ½¬¿öÁö¸ç µÎ °³ÀÇ class¸¦ ½±°Ô ºñ±³ÇÑ´Ù.

´ÜÁö µÎ °³ÀÇ class ¿Í ÀÇ likelihood ratio ´Â ´ÙÀ½°ú °°´Ù.

   

ÀÌ 1 º¸´Ù Å©¸é class ¸¦ sampleÀÌ ¼ÓÇÏ´Â class ·Î ¼±ÅÃÇÏ°í 1 º¸´Ù ÀÛÀ¸¸é ¸¦ ¼±ÅÃÇÑ´Ù. class ¸â¹öÀÇ Á¶°ÇºÎ È®·üÀÇ ÇÕÀº 1 À̾î¾ß Çϱ⠶§¹®¿¡ µÎ °³ÀÇ class ¸¸ ÀÖ´Â °æ¿ì¿¡ À̹ǷΠÀ§ÀÇ ½Ä¿¡ ´ëÀÔÇÏ¸é ´ÙÀ½ÀÌ ¾ò¾îÁø´Ù.

   


Example 3.2   ELISA test¸¦ ÀÌ¿ëÇÑ HIV virus ÀÇ °ËÃâ

¾î¶² ȯÀÚ°¡ HIV virus °¡ °É¸° °ÍÀ¸·Î ÀǽɵǸé Ç÷¾×ÀÇ Ç×ü¸¦ °Ë»çÇÏ´Â ELISA (enzyme linked immunosorbent assay) test¸¦ ÇϰԵȴÙ. ¸¦ HIV virus¸¦ °¡Áø »ç°ÇÀ¸·Î, ¸¦ °¡ÁöÁö ¾ÊÀº »ç°ÇÀ¸·Î, Pos ¸¦ test¿¡¼­ ¾ç¼ºÀ¸·Î ³ª¿Â »ç°Ç, Neg ´Â À½¼ºÀ¸·Î ³ª¿Â »ç°ÇÀ¸·Î µÐ´Ù. test¿¡¼­ ¾ç¼ºÀ¸·Î ³ª¿Â °æ¿ì ȯÀÚ°¡ HIV virus¸¦ °¡Áú È®·ü Áï À» ±¸ÇÏ¿© º¸ÀÚ. ÀÌ °æ¿ì ÀÓ»ó¿¡¼­ ´ÙÀ½°ú °°Àº È®·üÀ» °¡Á¤ÇÑ´Ù.

Bayes' Á¤¸®¸¦ »ç¿ëÇÏ¿© ´ÙÀ½°ú °°Àº ´äÀ» ±¸ÇÒ ¼ö ÀÖ´Ù.

   

±¸ÇØÁø È®·ü°ªÀÌ 0.5 º¸´Ù Å©±â ¶§¹®¿¡ ÇØ´ç ȯÀÚ´Â HIV virusÀÏ È®·üÀÌ ³ô´Ù°í °á·ÐÁþ´Â´Ù.

´ÙÀ½°ú °°Àº likelihood ratio¸¦ »ç¿ëÇؼ­µµ °°Àº °á°ú¸¦ ¾òÀ» ¼ö ÀÖ´Ù.

ratio °ªÀÌ 1 º¸´Ù Å©±â ¶§¹®¿¡ HIV virusÀÏ È®·üÀÌ ³ô´Ù°í °á·ÐÁþ´Â´Ù. ¿©±â¼­ ¾ò¾îÁø  ·ÎºÎÅÍ ´ÙÀ½°ú °°ÀÌ À» °è»êÇÏ¿© Bayes' Á¤¸®·Î ¾ò¾îÁø °Í°ú °°Àº °á°ú¸¦ ¾ò´Â´Ù.

¸¸ÀÏ ³ª °¡ ³Ê¹« À۾Ƽ­ ÀÏ °æ¿ì´Â ºñ·Ï test °¡ ¾ç¼ºÀÌ¶óµµ virus °¡ ¾ø´Â °ÍÀ¸·Î °á·ÐÀÌ ³¯ °ÍÀÌ´Ù. ¶ÇÇÑ º´ ÀÚüº¸´Ùµµ test ¿¡¼­ÀÇ error °¡ ÀÖÀ» °¡´É¼ºµµ ÀÖ´Ù. ¸¹Àº º´¿ø¿¡¼­ ´Â ¸Å¿ì ³·±â ¶§¹®¿¡ ù ¹ø° test¿¡¼­ ¾ç¼ºÀÌ ³ª¿Â °æ¿ì µÎ ¹ø° ELISA test¸¦ ÇÏ´Â °ÍÀ» ±âº»À¸·Î ÇÑ´Ù. µÎ ¹ø° test °¡ ¾ç¼ºÀÏ °æ¿ì Western Blot test ¸¦ ÇÏ¿© È®ÀÎ test¸¦ ÇÏ°Ô µÈ´Ù. ºñ·Ï Western Blot test °¡ ELISA test º¸´Ù ´õ Á¤È®ÇÏÁö¸¸ ³Ê¹« ºñ½Î±â ¶§¹®¿¡ ȯÀÚ°¡ virus ¿¡ °É·È´Ù´Â °ÅÀÇ È®½ÇÇÑ Áõ°Å°¡ ¾øÀ¸¸é ½ÃÇàÇÏÁö ¾Ê´Â´Ù.


Continuous Densities

Bayes' Á¤¸®´Â ÀÌ»ê ºÐÆ÷(discrete distribution) ¸¦ ´ë½ÅÇÏ¿© continuous densities °¡ »ç¿ëµÇ´õ¶óµµ °ÅÀÇ º¯È­´Â ¾ø´Ù. ÀÓÀÇÀÇ º¯¼ö °¡ class ¿¡ ´ëÇØ ÀÇ density¸¦ °¡Áö°í »çÀüÈ®·üÀÌ ¶ó°í °¡Á¤ÇÏÀÚ. ÀÓÀÇÀÇ º¯¼ö°¡ ¿Í »çÀÌ¿¡ ÀÖ´Â »ç°ÇÀ» ¶ó ÇÑ´Ù. class ÀÇ °æ¿ì ÀÌ»ç°ÇÀÇ È®·ü ´Â conditional density function ¸¦ ÀûºÐÇÑ °ÍÀÌ´Ù.

 

classes ÀÇ »ç°Ç ÀÇ È®·ü

À§ÀÇ ±×¸²¿¡¼­ º¸¶ó»ö ºÎºÐÀÌ ÀÌ´Ù.   °¡ 0 ¿¡ °¡±îÀÌ °¥¼ö·Ï ´Â ±× ±¸°£¿¡¼­ »ó¼ö°ªÀ¸·Î ±Ù»çÇÏ°Ô µÇ°í º¸¶ó»ö ºÎºÐÀº ¿¡ Á¢±ÙÇÑ´Ù. ÀÌ°ÍÀ» Bayes' Á¤¸®¿¡ ´ëÀÔÇϸé

   

À§ ½ÄÀÇ ºÐÀÚ¿Í ºÐ¸ð¸¦ ·Î ³ª´©°í limit ¸¦ ÃëÇϸé

   

À§ ½ÄÀº continuous desities ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®ÀÌ´Ù. distribution functions ÀÌ density functions À¸·Î ¹Ù²ï °Í ¸»°í´Â discrete ÀÇ °æ¿ì¿Í °°´Ù. ¶ÇÇÑ likelihood ratio µµ °°´Ù.

  


Example 3.3  ACT Á¡¼ö¿¡ µû¸¥ ´ëÇÐ ÀÀ½ÃÀÚÀÇ ºÐ·ù 

Eastsoutheastern ÁÖ¸³´ëÀÇ ±â·Ï¿¡ µû¸£¸é, ½ÅÀÔ»ýÀÌ 5 ³â À̳»¿¡ Á¹¾÷ÇÒ È®·üÀº 0.8 ÀÌ´Ù. 5 ³â³»¿¡ Á¹¾÷ÇÏ´Â ÇлýÀÇ ACT (American College Test) Á¡¼ö´Â Æò±Õ°ª 26 Ç¥ÁØÆíÂ÷ 2¸¦ °¡Áö¸ç Á¤±Ô ºÐÆ÷ÇÑ´Ù. 5 ³â³»¿¡ Á¹¾÷ ¸øÇÏ´Â ÇлýÀÇ Á¡¼ö´Â Æò±Õ°ª 22 Ç¥ÁØÆíÂ÷ 3¸¦ °¡Áö¸ç Á¤±Ô ºÐÆ÷ÇÑ´Ù. µÎ°¡Áö °æ¿ì´Â mutually exclusive »ç°ÇÀÌ¸ç °¢°¢ µÎ °³ÀÇ class ¿Í ·Î Ç¥ÇöµÈ´Ù. ¸¸ÀÏ ÇÑ ÇлýÀÇ ACT Á¡¼ö°¡ 22 ¶ó¸é ±× ÇлýÀÌ 5 ³â³»¿¡ Á¹¾÷ÇÒ È®·üÀ» ±¸Çغ¸ÀÚ.

Á¹¾÷ÇÒ »ç°Ç , Á¹¾÷ ¸øÇÏ´Â »ç°Ç ,  À̶§ ´Â ¿Í , ´Â ¿Í ÀÌ°í, »çÀü È®·ü À̸ç ÀÌ´Ù. À̶§

À̸ç

continuous density ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®¿¡ ´ëÀÔÇϸé

µû¶ó¼­ ÇØ´ç ÇлýÀº Á¹¾÷ÇÒ È®·üÀÌ ´Ù¼Ò ³·Àº °ÍÀ» ¾Ë ¼ö ÀÖ´Ù.

 

À§ÀÇ °æ¿ì¿Í ´Þ¸® ´ÜÁö Á¹¾÷ÇÒ °ÍÀÌ³Ä ¾Æ´Ï³Ä ¸¸À» ±¸ºÐÇÏ´Â ¹®Á¦¶ó¸é ´ÙÀ½ÀÇ likelihood ratio¸¦ »ç¿ëÇÑ´Ù.

À̱⠶§¹®¿¡ Á¹¾÷ ¸øÇÒ È®·üÀÌ ³ô´Ù´Â °ÍÀ» ¾Ë ¼ö ÀÖ´Ù.

½Ä¿¡ ´ëÀÔÇÏ¿© º¸¸é

 °¡ ±¸ÇÏ¿©Á® À§ÀÇ °ª°ú °°´Ù. 

(a) ACT Á¡¼öÀÇ Á¶°ÇºÎ density function  (b)  »çÀü È®·ü¿¡ ÀÇÇØ °¡ÁßÄ¡°¡ ºÎ¿©µÈ Á¶°ÇºÎ density function 


Decision Regions

continuous density ÀÇ °æ¿ì class ÀÇ »çÈÄÈ®·ü ¸¦ ºñ±³ÇÏ¿© sample µéÀ» ºÐ·ùÇÏ´Â ´Ù¸¥ ¹æ¹ýÀº °¡Àå °¡´É¼º ÀÖ´Â class¿¡¼­ ÀÇ decision regionÀ» °è»êÇÏ´Â °ÍÀÌ´Ù. °¢ decision region Àº ÇϳªÀÇ class¿Í ¿¬°üµÈ´Ù. feature value ·Î¼­ sampleÀ» ºÐ·ùÇϱâ À§ÇØ ¸¦ Æ÷ÇÔÇÏ´Â decision regionÀ» °áÁ¤ÇÏ°í ¸¦ ÇØ´ç Áö¿ªÀÇ class ¿¡ ÇÒ´çÇÑ´Ù. decision region »çÀÌÀÇ °æ°è¸¦ decision boundary ¶ó°í ÇÑ´Ù. ÀûÀýÇÑ decision boundary´Â feature space¸¦ À¸·Î ±¸ºÐÇÏ¿©, ¿¡¼­ÀÇ ÀÇ °ªÀÌ ¾î¶² ´Ù¸¥ class º¸´Ù ¿¡ ¼ÓÇÒ È®·üÀÌ ³ôµµ·Ï ÇÑ´Ù. ¸¸ÀÏ feature value °¡ µÎ class »çÀÌÀÇ decision boundary »ó¿¡ ÀÖ´Ù¸é µÎ °³ÀÇ class ¿¡ ¼ÓÇÒ È®·üÀº °°´Ù. µÎ class ¿Í »çÀÌÀÇ ÀûÀýÇÑ decision boundary¸¦ °è»êÇϱâ À§ÇØ, ¸¸ÀÏ density °¡ continuous ÇÏ°í overlappingµÇ¾ú´Ù¸é ±×µéÀÇ »çÈÄÈ®·üÀÌ °°´Ù°í ÇÒ ¼ö ÀÖ´Ù.

Bayes' Á¤¸®¸¦ ´ëÀÔÇÏ°í ¸¦ Á¦°ÅÇϸé

   

at the optimal decision boundary.

¸¸ÀÏ °¢ class ¿Í °¢°¢ÀÇ feature °¡ Á¤±Ô ºÐÆ÷ÇÑ´Ù¸é ´ÙÀ½°ú °°ÀÌ µÈ´Ù.

   

¸¦ Á¦°ÅÇÏ°í ¾çº¯¿¡ natural log¸¦ ÃëÇÏ°í -2¸¦ °öÇϸé

   

ÀûÀýÇÑ decision boundaries ´Â ÀÌ ¹æÁ¤½ÄÀ» ¸¸Á·ÇÏ´Â °ª¿¡ À§Ä¡ÇÑ´Ù. À§ÀÇ ¹æÁ¤½ÄÀº ´ÙÀ½°ú °°Àº discriminant function À¸·Î º¯È¯ µÉ ¼ö ÀÖ´Ù.

°¡ 0 ÀÎ ÁöÁ¡ÀÌ decision boundary ÀÌ´Ù. °¡ ¾ç¼öÀ̸é class ÀÏ È®·üÀÌ ³ô°í °¡ À½¼ö¸é class ÀÏ È®·üÀÌ ³ô´Ù.


Example 3.4  ÀûÀýÇÑ 1 Â÷¿ø decision boundary ÀÇ °è»ê 

Example 3.3 ÀÇ °æ¿ì decision boundaries ¸¦ °è»êÇϱâ À§ÇÑ ½Ä¿¡ ¾Æ·¡ data ¸¦ ´ëÀÔÇÑ´Ù.

   

À§ÀÇ °úÁ¤À» ÅëÇØ ´ÙÀ½ÀÇ °ªÀÌ ±¸ÇØÁø´Ù.

ÀÌ·¯ÇÑ µÎ °³ÀÇ decision boundary ´Â feature space¸¦ 3 °³ÀÇ decision region À¸·Î ³ª´©°í ´ÙÀ½ÀÇ decision ruleÀ» ¸¸µç´Ù.

  1. ¸¸ÀÏ ¶ó¸é sampleÀ» class ·Î ºÐ·ùÇÑ´Ù.
  2. ¸¸ÀÏ ¶ó¸é sample À» class ·Î ºÐ·ùÇÑ´Ù.

¿¡¼­ÀÇ decision boundary ´Â µÎ class ÀÇ Æò±Õ°ª¿¡¼­ ³Ê¹« ¸Ö¸® ¶³¾îÁ® ÀÖ¾î(¾à five standard deviation ¸¸Å­) 3 ¹é¸¸Áß Çϳª ÀÌÇÏÀÇ sample ¸¸ÀÌ class  ¸¦ À§ÇÑ À§ÂÊ decision region ¿¡ ³õ¿©ÀÖ°Ô µÈ´Ù (°¢ ±×·ìÀÇ ACT Á¡¼ö°¡ Á¤±ÔºÐÆ÷ÇÑ´Ù´Â °¡Á¤ÇÏ¿¡). ½ÇÁ¦ÀÇ °æ¿ì¿¡´Â featureµéÀº Á¤È®ÇÏ°Ô Á¤±ÔºÐÆ÷ ÇÏÁö´Â ¾ÊÀ» °ÍÀÌ´Ù. ¸íÈ®È÷ ¿¡ ¼ÓÇÏ´Â ¾î¶² Çлýµµ Á¹¾÷°¡´ÉÇÏ¿© ·Î ºÐ·ùµÇ¾î¾ß ÇÒ °ÍÀ̹ǷΠÀÌ·¯ÇÑ °æ¿ì¿¡´Â ´ÜÁö ÇϳªÀÇ decision boundary ¸¸ÀÌ Àǹ̰¡ ÀÖÀ» °ÍÀÌ´Ù. ÀÌ·¯ÇÑ ¸ðµ¨¿¡¼­´Â °¡´ÉÇÑ ºÎÁ¤È®¼ºÀ» ¼öÁ¤Çϱâ À§ÇÏ¿©, ÀûÀýÇÑ Å©±âÀÇ data setÀ» »ç¿ëÇÏ°í ºÎ±Ù¿¡¼­ ´Ù¾çÇÑ decision boundary ¿¡ ÀÇÇØ ¸¸µé¾îÁø ºÐ·ùÀÇ Á¤È®¼ºÀ» ºñ±³ÇÏ¿© ¼³°è¸¦ Á¤¹ÐÈ­ÇØ¾ß ÇÒ °ÍÀÌ´Ù.

 


 , the

»çÀü È®·ü°ú Á¶°ÇºÎ È®·ü¿¡ ÀÇÇØ °è»êµÇ¾îÁø »çÈÄ È®·üÀÇ ±×¸² ( ¿Í ) ÀÌ´Ù. (a) µÎ Á¡¿¡¼­ ±³Â÷ÇÑ´Ù (two real roots), (b) ÇÑÁ¡¿¡¼­ ±³Â÷ ÇÏ´Â °ÍÀ¸·Î ÀϹÝÀûÀÎ ±×¸²ÀÌ´Ù (one real root). (c) Á¢ÇØÀÖ´Â(tangent) ±×¸²À¸·Î decision boundary °¡ ¾ø´Ù(a repeated real root), (d) ±³Â÷Á¡ÀÌ ¾øÀ¸¸ç ÀüºÎ A class ¶ó°í ÁÖÀåÇÏ´Â °ÍÀÌ °¡´ÉÇÏ´Ù(no real root).    

....................

3.3  Multiple Features

¸¸ÀÏ class µéÀÌ feature°ø°£¿¡¼­ ³Ð°Ô ¶³¾îÁ® ÀÖÁö ¾ÊÀ¸¸é single feature ·Î¼­ class µéÀ» Àß ½Äº°ÇØ ³¾ ¼ö´Â ¾ø´Ù. ±×·¯³ª µÎ °³ ÀÌ»óÀÇ feature°¡ »ç¿ëµÈ´Ù¸é ¿©·¯°³ÀÇ class µéÀ» Àß ½Äº°ÇØ ³¾ ¼ö ÀÖÀ» °ÍÀÌ´Ù. ¿©·¯°³ÀÇ feature (multiple feature) ¸¦ °¡Áø °æ¿ìÀÇ Bayes' Á¤¸®´Â single feature ÀÇ °ªÀ»  feature vector x (±¸¼º ¿ä¼Ò·Î¼­ single feature¸¦ °¡Áü)ÀÇ °ªÀ¸·Î ¹Ù²Ù¾î ÁÖ¸é µÈ´Ù.

À̻갪(discrete)À» °¡Áö´Â °æ¿ì¿¡ °³ÀÇ class¿¡ ´ëÇØ ´ÙÀ½ÀÇ Bayse' Á¤¸®°¡ ¾ò¾îÁø´Ù. ¿©±â¼­ ´Â vector x ÀÌ´Ù.

 

¿¬¼Ó°ª (continuous)À» °¡Áö´Â °æ¿ìÀÇ Bayes' Á¤¸®´Â Á¶°Ç È®·ü ¸¦ Á¶°Ç ¹Ðµµ( conditional density) ·Î ¹Ù²ãÁÖ¸é µÈ´Ù. ´Â vector x ÀÌ´Ù.

   


Example 3.7  ACT Á¡¼ö¿Í class rank ¸¦ »ç¿ëÇÑ ´ëÇÐ ÀÀ½ÃÀÚÀÇ ºÐ·ù

 

Example 3.3 ¿¡¼­ ACT Á¡¼ö ¿¡ ÀÇÇØ ´ëÇÐ ÀÀ½ÃÀÚ¸¦ ºÐ·ùÇÏ´Â °Í¿¡ ´õÇؼ­,ÀÀ½ÃÀÚÀÇ °íµîÇб³ ¿¡¼­ÀÇ ¼ºÀû ¹éºÐÀ²¿¡ µû¸¥ µî¼ö ¸¦ »ç¿ëÇؼ­ ºÐ·ùÇÑ´Ù°í °¡Á¤ÇÏÀÚ. ¿Í ÀÇ conditional density °¡ bivariate normal À̶ó°í °¡Á¤ÇÑ´Ù. ( ´Â ¹éºÐÀ²À̱⠶§¹®¿¡ uniformly distribute ÇÑ´Ù. ±×·¯³ª ÀÌ°ÍÀÌ Æ¯Á¤ ´ëÇÐÀÇ ÀÀ½ÃÀÚ¿¡°ÔÀÖ¾î normally distribute ÇÏÁö ¸øÇÏ°Ô ÇÏ´Â °ÍÀº ¾Æ´Ï´Ù.)

class ¸¦ À§ÇÑ Àμö´Â , , , , , ÀÌ´Ù.

class ¸¦ À§ÇÑ Àμö´Â , , , , , ÀÌ´Ù.

À§ÀÇ °æ¿ì ACT Á¡¼ö 22 À̸ç Çб޵î¼ö°¡ 70 µîÀÎ ÀÀ½ÃÀÚ°¡ 5 ³â³»¿¡ Á¹¾÷ÇÒ È®·üÀº ¾ó¸¶Àΰ¡?

bivariate normal density ½ÄÀº ´ÙÀ½°ú °°ÀÌ Ç¥ÇöµÈ´Ù.

class ¿¡ ´ëÇÑ À§ÀÇ Àμö °ªÀ» ´ëÀÔÇϸé

class ¿¡ ´ëÇÑ À§ÀÇ Àμö °ªÀ» ´ëÀÔÇϸé

continuous density ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®

À§ÀÇ ½ÄÀ» »ç¿ëÇÏ¿© »çÈÄÈ®·üÀ» ´ÙÀ½°ú °°ÀÌ ±¸ÇÑ´Ù.

ACT Á¡¼ö 22 À̸ç Çб޵î¼ö°¡ 70 µîÀÎ ÀÀ½ÃÀÚ°¡ 5 ³â³»¿¡ Á¹¾÷ÇÒ È®·üÀº 10 % ÀÓÀ» ¾Ë ¼ö ÀÖ´Ù.


2°³ ÀÌ»óÀÇ feature °¡ »ç¿ëµÉ ¶§ multivariate normal density ÀÇ Áö¼ö´Â °¢ feature µéÀÇ ½ÖÀÇ °ö, feature ÀÇ Á¦°ö°ú linear term µîÀ» Æ÷ÇÔÇÏ´Â ÀϹÝÀûÀÎ 2 Â÷½ÄÀÌ´Ù. ¸¸ÀÏ features ÀÇ °æ¿ì¶ó¸é  termsÀ» °á°úÇÑ´Ù. °¡ Áß°£Á¤µµÀÇ °ªÀ» °¡Áú °æ¿ì ¸¸ÀÏ matrix notation ÀÌ »ç¿ëµÇÁö ¾Ê´Â´Ù¸é Ç¥ÇöÇϱⰡ ¾î·Æ°Ô µÈ´Ù. ´Â mean vector ÀÌ°í ´Â covariance matrix ÀÌ´Ù. ÀÌ °æ¿ì multivariate normal density ´Â ´ÙÀ½°ú °°´Ù.

   

.....................

3.4  Conditional Independent Features

ÇϳªÀÇ ¹®Á¦¿¡¼­ ¿©·¯°³ÀÇ ÀÌ»ê feature°¡ ÀÖÀ» °æ¿ì, °¢ class¸¦ À§ÇÑ feature°ªµéÀÇ ¸ðµç °¡´ÉÇÑ Á¶ÇÕÀÇ È®·üÀ» ÃßÁ¤ÇØ ³¾ Á¤µµ·Î ÃæºÐÇÑ sampleÀÌ ÀÖÀ» ¼ö´Â ¾ø´Ù. Áï °³ÀÇ class¸¦ °¡Áö°í °³ÀÇ feature¿Í °¢ feature°¡ °³ÀÇ °ªÀ» °¡Áø´Ù°í ÇÏÀÚ. À̶§´Â °³ÀÇ class °¢°¢¿¡ ´ëÇØ  °³ÀÇ °¡´ÉÇÑ »ç°ÇÀÌ ÀÖÀ» ¼ö ÀÖ°í, µû¶ó¼­ °³ÀÇ °¡´ÉÇÑ µ¥ÀÌÅÍ Á¶ÇÕÀÌ °¡´ÉÇÏ´Ù.

¿¹¸¦ µé¸é Áúº´ Áø´Ü¿¡ À־ 10 °¡ÁöÀÇ Áõ»óÀÌ ÀÖ°í °¢°¢ÀÇ Áõ»ó¿¡ ´ëÇØ 4 °³ÀÇ °¡´ÉÇÑ ´äº¯ÀÌ ÀÖÀ» ¼ö ÀÖ´Ù°í ÇßÀ» ¶§ 3 °³ÀÇ º´Áß¿¡¼­ ¾î¶² º´ÀÎÁö¸¦ ½Äº°ÇØ ³»´Â °£´ÜÇÑ °æ¿ì°¡ ÀÖ´Ù°í ÇÏÀÚ. À̶§ °¡´ÉÇÑ °æ¿ìÀÇ ¼ö´Â °³ ÀÌ°í °³ÀÇ »ç°ÇÀÇ Á¶ÇÕÀÌ °¡´ÉÇÏ´Ù. ±× °¢°¢¿¡ ´ëÇØ È®·ü°ªÀÌ ±¸ÇØÁ®¾ß ÇÑ´Ù. ¸¸ÀÏ ÀÌÀü¿¡´Â ¹ßº´ÇÑ ÀûÀÌ ¾ø´Â »õ·Î¿î Á¾·ùÀÇ Áúº´ÀÇ °æ¿ì¶ó¸é ¾î¶² Ãß°¡ÀûÀÎ °¡Á¤À» ÇÏÁö ¾Ê°í´Â 3 °³ÀÇ Áúº´ÀÇ È®·üÀ» ÃßÁ¤ÇÒ ¹æ¹ýÀº ¾øÀ» °ÍÀÌ´Ù.

°¡´ÉÇÑ Á¶ÇÕÀÇ ¼ö¸¦ °¨¼Ò½ÃÅ°´Â ÇϳªÀÇ ¹æ¹ýÀº °¢ class ¿¡ ÁÖ¾îÁø feature °¡ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÏ´Â °ÍÀÌ´Ù. ±×·¯¸é ´Ù¾çÇÑ feature vector ÀÇ È®·üÀÌ °öÇϱ⸦ ÇÏ¿© ÃßÁ¤µÉ ¼ö ÀÖ´Ù. Áï Áúº´ ÀÇ °æ¿ì¿¡  feature vector °¡ °ª À» °¡Áú È®·üÀº ´ÙÀ½°ú °°ÀÌ ±¸ÇØÁø´Ù.

   

À§¿Í °°ÀÌ Çϸé ÀÌ ¾Æ´Ï¶ó °³ ¸¸Å­ÀÇ È®·ü°ª¸¸ ±¸Çغ¸¸é µÈ´Ù

Àüü ¸ðÁý´Ü¿¡ ´ëÇØ feature µéÀÌ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÏ¿© ¸¦ ·Î ¹Ù²Ù´Â °ÍÀº À߸øÀÏ °ÍÀÌ´Ù. ¿Ö³ÄÇϸé ÀÌ·¯ÇÑ °¡Á¤ÀÌ ÀÌ¿ëÇÒ ¼ö ÀÖ´Â data ¿Í ¸ð¼øµÇ¾î class ¸â¹öÀÇ ¸ðµç »çÈÄÈ®·üÀÇ ÇÕÀÌ 1 ÀÌ ¾Æ´Ò °ÍÀ̱⠶§¹®ÀÌ´Ù.

ÀÌ·¯ÇÑ µÎ °¡Á¤À» ÀÌÇØÇϱâ À§ÇÏ¿©, ´ÙÀ½ ±×¸²ÀÇ (a) ´Â ¿¬¼Ó feature ¿Í »óÀÇ µÎ class °¡ »ç°¢ÇüÀ§¿¡ uniformly distribute ÇÏ´Â °ÍÀ» º¸¿©ÁØ´Ù. feature ¿Í ´Â °¢ class ³»¿¡¼­ µ¶¸³ÀûÀÌ´Ù. ¿¹¸¦µé¸é ¸¸ÀÏ class °¡ ¶ó´Â °ÍÀ» ¾Ë¸é ¸¦ ¾Ë¾Æµµ ¿¡ ´ëÇÑ ¾î¶² ºÎ°¡ÀûÀÎ Á¤º¸µµ ÁÖÁö ¾Ê´Â´Ù. ±×·¡¼­ ¿Í ´Â class ÀÇ ¸â¹ö¿¡ ´ëÇÏ¿© µ¶¸³ÀûÀÌ´Ù. ¶ÇÇÑ class ¿¡ ´ëÇؼ­µµ ¸¶Âù°¡Áö´Ù. ±×·¯³ª feature ¿Í ´Â Àüü ¸ðÁý´Ü¿¡ ´ëÇؼ­´Â µ¶¸³ÀûÀÌÁö ¾Ê´Ù. ½ÇÁ¦·Î ¸¸ÀÏ °¡ °¡´ÉÇÑ ¹üÀ§ÀÇ ³ôÀº ºÎºÐ¿¡ ÀÖ´Ù¸é µµ ¶ÇÇÑ ±× ¹üÀ§ÀÇ ³ôÀº ºÎºÐ¿¡ ÀÖ¾î¾ß ÇÑ´Ù. ±×·¡¼­ ¿Í ´Â ±× ¸ðÁý´Ü¿¡¼­ positively correlated µÇ¾îÀÖ´Ù.

¹Ý¸é¿¡ ´ÙÀ½ ±×¸² (b) ´Â »ï°¢Çü ³»¿¡¼­ uniformly distribute ÇÏ´Â class µéÀ» º¸¿©ÁØ´Ù. ÀÌ °æ¿ì ¿Í ´Â Àüü ¸ðÁý´Ü¿¡¼­´Â µ¶¸³ÀûÀÌÁö¸¸ °¢ class ¿¡¼­´Â ±×·¸Áö ¾Ê´Ù. ¸¸ÀÏ class¸¦ ¸ð¸£´Â °æ¿ì ¸¦ ¾Ë¾Æµµ ¿¡ ´ëÇؼ­´Â ¾î¶² Á¤º¸µµ ¾Ë ¼ö ¾ø´Ù. ±×·¯³ª ¸¸ÀÏ class °¡ ¶ó´Â °ÍÀ» ¾Ë°í °¡ Å©´Ù´Â °ÍÀ» ¾Ë¸é °¡ °¡´ÉÇÑ ¹üÀ§ÀÇ ¾Æ·¡ÂÊ¿¡ ÀÖ´Ù´Â °ÍÀ» ÀǹÌÇÑ´Ù.

¸¸ÀÏ classes ¿Í features °¡ ÀÖ´Ù¸é, feature µéÀÌ °¢ class ³»¿¡¼­ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÒ ¶§ ¸¦ °è»êÇϱâ À§ÇØ feature µéÀÌ ¸ðÁý´Ü ³»¿¡¼­ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÒ ÇÊ¿ä´Â ¾ø´Ù. ´ÙÀ½ÀÇ ½ÄÀº

   

°¢ class ³»¿¡¼­ ´ÙÀ½ÀÇ °¡Á¤ ÇÏ¿¡¼­¸¸ °è»êµÉ ¼ö ÀÖ´Ù.

   

À§ÀÇ µÎ½ÄÀ» multiple feature ÀÇ °æ¿ìÀÇ ´ÙÀ½ Bayes' Á¤¸®¿¡ ´ëÀÔÇϸé

   

class °¡ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÔÀ¸·Î½á ÀÌÀü¿¡´Â °áÄÚ º¼ ¼ö ¾ø¾ú´ø feature µéÀÇ Á¶ÇÕµéÀ» À§ÇÑ class ¸â¹öÀÇ È®·üÀ» ÃßÁ¤ÇÒ ¼ö ÀÖ´Ù. ±×·¯³ª ¸¸ÀÏ µ¶¸³ÀûÀ̶ó´Â °¡Á¤ÀÌ »ç½ÇÀÌ ¾Æ´Ï¶ó¸é ÀÌ·¯ÇÑ È®·ü ÃßÁ¤Ä¡ °¢°¢Àº error¸¦ ¹ß»ý½Ãų °ÍÀÌ´Ù. ¸¸ÀÏ data °¡ ÀÌ¿ë°¡´ÉÇÏ´Ù¸é, chi-squared test °°Àº Åë°èÀû test¸¦ »ç¿ëÇÏ¿© feature µéÀÌ µ¶¸³ÀûÀ̶ó´Â °¡¼³À» test ÇÒ ¼ö ÀÖ´Ù.

class ¿¡ ÁÖ¾îÁø featureµéÀÌ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÔÀ¸·Î½á, ·Î ºÎÅÍ ±îÁö ÃàÀûµÇ¾î¾ß¸¸ ÇÏ´Â data ÀÇ °¡´ÉÇÑ Á¶ÇÕÀÇ ¼ö¸¦ °¨¼Ò½ÃŲ´Ù ( classes ¿Í features, °¢ feature ¿¡ ´ëÇÑ values¸¦ °¡Á¤ÇÒ ¶§), À§¿¡¼­ ÀÇ °æ¿ì¿¡ ÃàÀûµÈ data ÀÇ ¾çÀÌ 3,145,728 °³ÀÇ Á¶ÇÕÀÌ ÇÊ¿äÇÏ¿´´Ù. ±×·¯³ª ¸¸ÀÏ feature µéÀÌ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÑ´Ù¸é, ´ÜÁö   °³ÀÇ Á¶ÇÕ¸¸ °í·ÁÇÏ¸é µÈ´Ù. ÀÌ·¯ÇÑ ¹æ¹ýÀÇ ´ÜÁ¡Àº, ¸¸ÀÏ feature µéÀÌ ½ÇÁ¦·Î conditionally independent ÇÏÁö ¾Ê´Ù¸é ±× °á°ú°¡ bias µÉ ¼ö ÀÖ´Ù´Â °ÍÀÌ´Ù.


Example 3.10  µÎ ¹øÀÇ ELISA test¸¦ »ç¿ëÇÑ HIV virus ÀÇ °ËÃâ

Example 3.2 ¿¡¼­ ³íÀÇÇÑ ´Ü ÇѹøÀÇ ELISA test ¸¸À¸·Î´Â ÃæºÐÈ÷ Á¤È®ÇÑ °á°ú¸¦ º¸ÀÌÁö ¾Ê´Âµ¥, ƯÈ÷ ÁÖ¾îÁø ¸ðÁý´Ü¿¡¼­ HIV virus ÀÇ »çÀüÈ®·üÀÌ ³·À» ¶§ ±×·¸´Ù. µû¶ó¼­ ù ¹ø° test °¡ ¾ç¼ºÀÏ ¶§ µÎ ¹ø° ELISA test °¡ º¸Åë ÇàÇØÁø´Ù.

¸¦ HIV virus¸¦ °¡Áø »ç°ÇÀ¸·Î, ¸¦ °¡ÁöÁö ¾ÊÀº »ç°ÇÀ¸·Î, Pos ¸¦ ù ¹ø° test¿¡¼­ ¾ç¼ºÀ¸·Î ³ª¿Â »ç°Ç, Neg ´Â À½¼ºÀ¸·Î ³ª¿Â »ç°ÇÀ¸·Î µÐ´Ù. µÎ ¹øÀÇ µ¶¸³ÀûÀÎ test °¡ ÇàÇØÁú ¶§ ´Â ù ¹ø°´Â µÎ ¹ø°´Â ÀÇ °æ¿ìÀÌ°í, ´Â µÎ ¹øÀÇ test °¡ ¸ðµÎ ¾ç¼ºÀÎ °æ¿ìÀÌ´Ù. ÀÌ °æ¿ì ÀÓ»ó¿¡¼­ ´ÙÀ½°ú °°Àº È®·üÀ» °¡Á¤ÇÑ´Ù.

°¢ class ³»¿¡¼­ test µéÀÌ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÏ¸é °ö¼À¹ýÄ¢¿¡ ÀÇÇØ ´ÙÀ½ÀÌ ±¸ÇØÁø´Ù.

Bayes' Á¤¸®¿¡ ÀÇÇÏ¿©

Áï µÎ ¹øÀÇ ELIZA test °¡ ÁÖ¾îÁö°í µÑ´Ù ¾ç¼ºÀ̶ó¸é ±× ȯÀÚ°¡ HIV virus ÀÏ È®·üÀº ¸Å¿ì ³ôÀº È®·ü (0.997)À» º¸ÀδÙ. ¹Ý¸é¿¡ ´ÜÁö ÇѹøÀÇ ELIZA test ¸¸À¸·Î´Â Example 3.2 ¿¡¼­ º»´ë·Î ÈξÀ ÀûÀº È®·ü (0.893)À» º¸ÀδÙ.

½ÇÁ¦·Î´Â µÎ ¹øÀÇ test »çÀÌ¿¡ µ¶¸³ÀûÀ̶ó´Â °¡Á¤ÀÌ Á¤´çÇÑÁö¸¦ °áÁ¤Çϱâ À§ÇØ ºÎ°¡ÀûÀÎ data °¡ ¿ä±¸µÉ °ÍÀÌ´Ù. ¸¸ÀÏ test °á°ú°¡ ºÎÁ¤È®ÇÏ°Ô ³ª¿Â °æ¿ì ±×°ÍÀÌ ½ÇÇè½Ç °úÁ¤¿¡¼­ÀÇ ÀÓÀÇÀÇ º¯È­¹«½ÖÇÔ ¶§¹®À̶ó¸é ±× °á°ú´Â µ¶¸³ÀûÀÏ ¼ö ÀÖ´Ù. ±×·¯³ª ±×°ÍÀÌ È¯ÀÚÀÇ Ç÷¾×¿¡¼­ ¾î¶² ÀÏÁ¤ÇÑ ºñÁ¤»ó ¶§¹®À̶ó¸é ±× °á°ú´Â µ¶¸³ÀûÀÏ ¼ö ¾ø´Ù.


..................

3.5  Decision Boundaries

Two-Dimensional Decision Boundaries

¿¬¼Ó°ªÀ» °¡Áö´Â µÎº¯¼ö , °¡ ÀÖÀ» ¶§ µÎ °³ÀÇ class ÀÎ ¿Í ´Â ¼­·Î ÁßøµÇ´Â ¹üÀ§¸¦ °¡Áö¸ç ±× »çÀÌ¿¡ ÀûÀýÇÑ decision boundary (2Â÷¿ø) °¡ Á¸ÀçÇÑ´Ù.

±×°ÍÀ» ¶ó°í ÇÒ ¼ö ÀÖ°í ±×·ÎºÎÅÍ Bayes' Á¤¸®¸¦ »ç¿ëÇÏ¿© ´ÙÀ½ ½ÄÀÌ ¾ò¾îÁø´Ù.

 ---- (1)

°¢ class °¡ ÀÌÇ× Á¤±Ô ºÐÆ÷¸¦ °¡Áø´Ù°í °¡Á¤ÇÏ¸é ´ÙÀ½ ½ÄÀÌ (1) ÀÇ ¾çº¯¿¡ ÀÌ¿ëµÈ´Ù.

  ---- (2)

2 °³ÀÇ ÀÌÇ× ºÐÆ÷ class¸¦ À§ÇØ ÀûÀýÇÑ decision boundary ¹æÁ¤½Ä(À§ÀÇ (1)½Ä) Àº ¾çº¯¿¡ log¸¦ ÃëÇÏ¿© Á÷¼±À̳ª ¿ø»ÔÇüÀÇ (Ÿ¿ø, Æ÷¹°¼±, ½Ö°î¼±) ½ÄÀ¸·Î Ãà¼ÒµÈ´Ù.

À§ÀÇ ½ÄÀ» decision function or discriminant function À̶ó°í ÇÑ´Ù.


Example 3.12  ÀûÀýÇÑ decision boundary ÀÇ °áÁ¤ (feature µéÀÌ °¢ class ³»¿¡¼­ µ¶¸³ÀûÀÏ ¶§ µÎ °³ÀÇ ´Ü¼øÇÑ bivariate normal class µé »çÀÌ)  

class ¿Í °¡ µÑ´Ù bivariate normal ÀÌ¸ç »çÀüÈ®·ü ¸¦ °¡Áö°í ÀÖ´Ù°í °¡Á¤ÇÑ´Ù. class ÀÇ conditional density¸¦ À§ÇÑ Àμö´Â À̸ç class ÀÇ Àμö´Â ÀÌ´Ù.

°¢ classµéÀ» À§ÇÑ  À̱⠶§¹®¿¡ bivariate normal density ´Â simple formÀ» °¡Áø´Ù. ½ÇÁ¦·Î À̸ç ÀÌ´Ù. ´ÙÀ½ ½Ä¿¡ ´ëÀÔÇϸé

µÎ °³ÀÇ weighted densities¸¦ °°°Ô³õ°í Àμö¸¦ ´ëÀÔÇϸé

¸¦ Á¦°ÅÇÏ°í ¾çº¯¿¡ natural log ¸¦ ÃëÇϸé

°¡ class ¿Í class °¡ °°Àº variance¸¦ °¡Áö±â ¶§¹®¿¡ terms ´Â Á¦°ÅµÇ°í Æ÷¹°¼±¸ð¾çÀÇ decision boundary¸¦ º¸ÀδÙ.

      ¶Ç´Â         

Á¡¼±ÀÇ Æ÷¹°¼±ÀÌ º» ¿¹Á¦¸¦ À§ÇÑ decision boundary ÀÌ´Ù. -axis

¾î¶°ÇÑ normal density function ( ´Â ¾çÀÇ »ó¼ö) À» À§ÇÑ ÀϹÝÀûÀÎ È®·ü ¹ÐµµÀÇ ¸ð¾çÀº Ç×»ó Ÿ¿øÇüÀÌ´Ù. ¿Ö³ÄÇÏ¸é ¸¸ÀÏ ÀÌ »ó¼ö¶ó¸é, density function¿¡¼­ 2 Â÷ Áö¼ö (quadratic exponent) ´Â Ç×»ó »ó¼öÀ̾î¾ß Çϱ⠶§¹®ÀÌ´Ù.

µû¶ó¼­ class Áï ÀÇ °æ¿ì ±× ¸ð¾çÀÌ (0,0) ÀÌ Áß½ÉÀÎ ¿ø¸ð¾çÀÌ´Ù(¿øÀº Ÿ¿øÀÇ Æ¯º°ÇÑ °æ¿ìÀÌ´Ù). class Áï ÀÇ °æ¿ì´Â (2,0) ÀÌ Áß½ÉÀΠŸ¿øÇüÀÌ´Ù. ±×°ÍÀº ±â¿ï¾îÁöÁö ¾Ê¾ÒÀ¸¸ç (class ÀÇ °æ¿ì´Â À̱⶧¹®) µû¶ó¼­ -term ÀÌ ¾ø´Ù. ±×°ÍÀÇ major axis ´Â -axis ¿¡ ÆòÇàÇϸç, ¾î¶² °ª¿¡ ´ëÇؼ­µµ minor axis ±æÀÌÀÇ 2¹èÀÌ´Ù. ÀϹÝÀûÀÎ È®·ü¹ÐµµÀÇ ¸ð¾çÀÇ ÀϺθ¦ À§ÀÇ ±×¸²¿¡¼­ º¼ ¼ö ÀÖ´Ù. Ÿ¿øÇüÀÇ Á߽ɿ¡¼­ ¿Í ¹æÇâÀ¸·Î ¿Í ¸¸Å­ ¶³¾îÁø À§Ä¡¿¡ µÎ °³ÀÇ Å¸¿øÀÌ ÀÖ´Ù.

¿¹¸¦µé¸é ÀÇ °æ¿ì ÇϳªÀÇ ¸ð¾çÀÇ Á¡Àº -Ãà¿¡¼­ ·ÎºÎÅÍ four units ¿¡ ÀÖÀ» °ÍÀÌ´Ù. ÀÇ °æ¿ì¿¡ ÀÌ Á¡Àº ¿¡ ÀÖ´Ù.

¿Í decision regionÀ» ±¸ºÐÇÏ´Â decision boundary ´Â ´ÙÀ½°ú °°´Ù.

´ÙÀ½ÀÇ discriminant function ÀÌ ±¸ÇØÁø´Ù.

¸¸ÀÏ À§ÀÇ ±×¸²¿¡¼­ ÀÌ°í °¡ Å©´Ù¸é ±× Á¡Àº decision region ¿¡ Á¸ÀçÇÏ°í ´Â À½¼öÀÏ °ÍÀÌ´Ù. ´Â class decision region ¿¡¼­´Â ¾ç¼öÀÌ´Ù.

feature vector ¸¦ °¡Áö´Â ÇϳªÀÇ sample Àº ¸¦ °è»êÇÏ°í ±× ºÎÈ£¸¦ ¾ÍÀ¸·Î½á ºÐ·ùµÉ ¼ö ÀÖ´Ù. À̶§ ±× sampleÀ» ºÐ·ùÇϱâ À§ÇØ ³ª À» °è»êÇÒ ÇÊ¿ä´Â ¾ø´Ù.


..............

 

  


................

decision boundary ´Â ´ÙÀ½°ú °°Àº Á¾·ù°¡ ÀÖ´Ù.

(a) ¼±Çü decision boundary  (b) ¿øÇü(circular) decision boundary . sample ÀÌ ¹ÐÁ¢ÇÏ¸é ¿øÇüÀ¸·Î ³ªÅ¸³­´Ù.

 

(a) Æ÷¹°¼±(parabolic) decision boundary  (b) Ÿ¿øÇü(elliptical) decision boundary .

(a) ½Ö°î¼±(hyperbolic) decision boundary. 2 °³ÀÇ decision boundary °¡ Á¸Àç    (b) ±³Â÷µÇ´Â ¼±Çü decision boundary ÀÌ°ÍÀº ½Ö°î¼± decision boundary ÀÇ º¯ÇüÀÌ´Ù.

....................

d-dimensional Decision Boundaries in Matrix Notation

3.6  Unequal Costs of Error

3.7  Estimation of Error Rates

3.8  The Leaving-One-Out Technique

3.9  Characteristic Curves

3.10  Estimating the Composition of Populations