Pattern Recognition and Image Analysis : Earl Gose. Richard Johnsonbaugh. Steve Jost Àú¼, Prentice Hall, 1996, Page 81~115
3.4 Conditional Independent Features
Two-Dimensional Decision Boundaries
d-dimensional Decision Boundaries in Matrix Notation
3.6 Unequal Costs of Error
3.7 Estimation of Error Rates
3.8 The Leaving-One-Out Technique
3.9 Characteristic Curves
3.10 Estimating the Composition of Populations
À̰ÍÀº È®·üÀ̷п¡ ±Ù°ÅÇÑ decision making ¶Ç´Â classificationÀ» ÀǹÌÇÑ´Ù.Áï data·ÎºÎÅÍ ÃßÃâµÈ parameterµéÀ» Æ÷ÇÔÇÑ´Ù. Statistical Decision Making ¶ó°íµµ ÇÑ´Ù.
ÀÚµ¿ ÆÐÅÏÀνĿ¡¼´Â supervised learning À̶ó´Â ¸»À» »ç¿ëÇÑ´Ù. Áï ±¸ºÐÇÏ·Á°í ÇÏ´Â °¢ class¿¡ ´ëÇÑ density functionÀ» Àß ¾Ë°í ÀÖ´Ù´Â °¡Á¤¿¡¼ ½ÃÀÛÇÑ´Ù. °ü·ÃµÈ sample data¿¡¼ parameterµéÀ» ÃßÃâÇϰí density¸¦ ¾Ë¾Æ³»¾î ÆÐÅÏÀÎ½Ä °úÁ¤À» ¼öÇàÇÑ´Ù.
Áï ¾Ë·ÁÁ®ÀÖ´Â classÀÇ ÆÐÅϵéÀÇ training setÀ» »ç¿ëÇØ¼ ƯÁ¤ decision making ±â¼ú·Î¼ ¹Ì·¡ÀÇ À¯»çÇÑ sampleµéÀ» classifyÇØ³»´Â pattern classifier¸¦ ¼³°èÇÏ´Â °úÁ¤À» ÀǹÌÇÑ´Ù. ´Þ¸® ¸»Çϸé training data¸¦ »ç¿ëÇØ¼ ¼³°èµÇ´Â classifierÀÌ´Ù. °¢ ÆÐÅÏ¿¡ ´ëÇÑ class°¡ ¾Ë·ÁÁ®ÀÖ´Â ºÐ¸®µÈ test setÀ» »ç¿ëÇØ¼ »õ·Î¿î data¿¡ ´ëÇØ classifier°¡ Æí°ß¾ø´Â Á¤È®ÇÑ ºÐ·ù¸¦ ÇÒ ¼ö ÀÖ°Ô ÇØÁØ´Ù.
Bayes' Á¤¸®¸¦ ÀÌ¿ëÇÑ ÀÇ»ç °áÁ¤Àº feature °ªÀÌ ÁÖ¾îÁø »óÅ¿¡¼ °¡Àå °¡´É¼ºÀÌ ÀÖ´Â class¸¦ ¼±ÅÃÇÏ´Â °ÍÀ» ¸»ÇÑ´Ù. Áï Bayes' Á¤¸®¸¦ ÀÌ¿ëÇÏ¿© class membership ÀÇ È®·üÀÌ °è»êµÈ´Ù. ¿©±â¼´Â ÇϳªÀÇ º¯¼ö (single feature) ÀÇ °ª¿¡ ±âÃÊÇÑ classificationÀ» ¾ð±ÞÇÑ´Ù.
º¯¼ö °ªÀ» , ºÐ·ùÇϰíÀÚ ÇÏ´Â class¸¦
, Àüü ¸ðÁý´Ü¿¡¼ º¯¼ö
¿¡ ´ëÇÑ È®·üºÐÆ÷¸¦
, ÀÓÀÇÀÇ sample ÀÌ class
¿¡ ¼ÓÇÒ »çÀüÈ®·ü
, class
¿¡¼ º¯¼ö °ª
°¡ ¾ò¾îÁú Á¶°ÇºÎ È®·ü
ÀÌ ÁÖ¾îÁø´Ù.
¿ì¸®°¡ ¾ò°íÀÚ ÇÏ´Â °ÍÀº º¯¼ö °ª °¡ ÁÖ¾îÁø »óȲ¿¡¼ sample ÀÌ class
¿¡ ¼ÓÇÒ È®·ü Áï
À» ±¸ÇÏ´Â °ÍÀε¥, À̸¦ À§ÇØ
,
,
°ªÀÌ ÁÖ¾îÁø´Ù.
class ¿¡ ¼ÓÇÏ¸é¼ ÇϳªÀÇ º¯¼ö°ª
(single feature)¸¦ °¡Áö´Â °æ¿ìÀÇ È®·üÀº ´ÙÀ½°ú °°´Ù.
À§ÀÇ ½ÄÀ» ´Ù½Ã Á¤¸®ÇÏ¸é ´ÙÀ½°ú °°Àº Bayes' Á¤¸®°¡ µÈ´Ù.
Example 3.1 ¾î¶² »ç¶÷ÀÌ ¿ÀÌ ÀÖÀ» ¶§ °¨±â ÀÏ È®·üÀº ¾ó¸¶Àΰ¡?
µÎ °³ÀÇ class Áï °¨±âÀÎ °æ¿ì ¿Í ¾Æ´Ñ °æ¿ì
·Î ³ª´ ¼ö ÀÖ´Ù. ¿À̶ó°í ÇÏ´Â feature¸¦
·Î µÎ¸é ±×°ÍÀº µÎ °³ÀÇ °ª (¿ÀÌ ÀÖ´Â °Í, ¿ÀÌ ¾ø´Â °Í)À» °¡Áø´Ù. ¾î¶² »ç¶÷ÀÌ
°¨±âÀÏ »çÀü È®·ü
= 0.01 À̰í, °¨±â °É¸° »ç¶÷ÀÌ ¿ÀÌ ÀÖÀ» È®·ü
= 0.4 À̰í, ¾î¶² »ç¶÷ÀÌ ¿ÀÌ ÀÖÀ» È®·ü (°¨±â °É¸° »ç¶÷°ú ¾È°É¸° »ç¶÷À» Æ÷ÇÔÇØ¼)
= 0.02 ¶ó°í °¡Á¤ÇÑ´Ù. ÀÌ·² °æ¿ì ¿ÀÌ ÀÖ´Â »ç¶÷ÀÌ °¨±â¿¡ °É·ÈÀ» È®·üÀº
´ÙÀ½°ú °°ÀÌ ÃßÁ¤µÈ´Ù.
µÎ °³ÀÇ class ¸¸ ÀÖ°í µÎ °³ÀÇ °ª¸¸À» °¡Áö´Â ÇϳªÀÇ feature°¡ ÀÖÀ» °æ¿ì¸¦ Venn diagram À¸·Î ±×¸° ±×¸²ÀÌ´Ù. À̰ÍÀº ´ë°³ º¹ÀâÇÑ ¹®Á¦ÀÇ °æ¿ì¿¡´Â ÇØ´çµÇÁö ¾Ê´Â °ÍÀÌ´Ù.
Bayes' Á¤¸®¸¦
k °³ÀÇ class ÀÇ °æ¿ì¿¡ Àû¿ëÇØº¸ÀÚ. class µéÀÌ ,.....,
°¡ ÀÖ°í mutually exclusive ÇÏ¸ç ¸ðµç sample ÀÌ class ÁßÀÇ Çϳª¿¡ ¹Ýµå½Ã
¼ÓÇÑ´Ù°í °¡Á¤ÇÑ´Ù. ¸¸ÀÏ ÃÖÃÊÀÇ class Á¤ÀÇ¿¡¼ »õ·Î¿î sample ÀÌ ¾î¶² class ¿¡µµ
¼ÓÇÏÁö ¾ÊÀ» °¡´É¼ºÀÌ ÀÖ´Ù¸é »õ·Î¿î class¸¦ ¸¸µé¾î¼ ±× sampleÀ» Æ÷ÇÔÇÏ°Ô ÇÑ´Ù.
ÃÖÃÊÀÇ class Á¤Àǰ¡ mutually exclusive ÇÏÁö ¾ÊÀ» °æ¿ì »õ·Î¿î mutually exclusive
classµéÀ» Á¤ÀÇÇÏ¿© ÃÖÃÊÀÇ class ¸â¹öÀÇ °¡´ÉÇÑ Á¶ÇÕÀ» ÃëÇϵµ·Ï Á¤ÀÇµÉ ¼ö ÀÖ´Ù.
¿¹¸¦µé¸é ÇϳªÀÇ sampleÀÌ class
¶Ç´Â
¿¡ ¼ÓÇϰųª µÑ´Ù¿¡ ¼ÓÇϰųª µÑ´Ù¿¡ ¼ÓÇÏÁö ¾ÊÀ» ¼ö°¡ ÀÖÀ» °æ¿ì ´ÙÀ½°ú °°Àº
4 °³ÀÇ »õ·Î¿î mutually exclusive class (
) µéÀÌ Á¤ÀÇ µÉ ¼ö ÀÖ´Ù.
´ë°³ °³ÀÇ class ¿¡ ´ëÇØ
°³ÀÇ mutually exclusive class µéÀÌ Á¤ÀÇ µÉ ¼ö ÀÖ´Ù. ¸¸ÀÏ °¡´ÉÇÑ Á¶ÇÕÀÇ ¼ö°¡
³Ê¹« Å©¸é ÀÌ¿ëÇÒ ¼ö ÀÖ´Â data ÀÇ ¾çÀÌ ÀÛ°Ô µÉ °ÍÀÌ°í µû¶ó¼ È®·üÀÇ Á¤È®ÇÑ ±Ù»çÄ¡¸¦
ÁÖÁö ¾ÊÀ» °ÍÀÌ´Ù.
ÇϳªÀÇ sampleÀÌ Çϳª ÀÌ»óÀÇ class ¿¡ ¼ÓÇÒ ¼ö
ÀÖ´Â -class ¹®Á¦¸¦ ÇØ°áÇÏ´Â ´Ù¸¥ ¹æ¹ýÀº
°³ÀÇ ºÐ¸®µÈ two class ¹®Á¦·Î¼ ³ª´©´Â °ÍÀÌ´Ù. Áï ±× sample ÀÌ class
¿¡ ¼ÓÇÏ´À³Ä ¾Æ´Ï³Ä? °í ¹¯´Â °ÍÀÌ´Ù. ÀÌ·¯ÇÑ ¹æ¹ýÀÇ ´ÜÁ¡Àº "not
" ÀÎ class¸¦ ¹¦»çÇϱⰡ ¾î·Æ´Ù´Â °ÍÀÌ´Ù. ¿Ö³ÄÇÏ¸é ±×°ÍÀÌ "non
" ÀÎ ¸î °³ÀÇ subclass¸¦ ÇÕÄ£ °ÍÀÏ ¼ö Àֱ⠶§¹®ÀÌ´Ù.
¸¸ÀÏ class °¡ mutually exclusive Çϸç joint event ÀÎ
°¡ ¶ÇÇÑ mutually exclusive ÇÏ´Ù¸é µ¡¼À ¹ýÄ¢À» »ç¿ëÇÏ¿© ´ÙÀ½À» ±¸ÇÒ ¼ö ÀÖ´Ù.
(A)
class ÀÎ °æ¿ìÀÇ Bayes' Á¤¸®´Â
À§ÀÇ µÎ ½Ä¿¡¼ ¸¦ ´ëÀÔÇϸé
classes ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®´Â ´ÙÀ½°ú °°´Ù.
(B)
Example 3.1 ¿¡¼, ¸¸ÀÏ ¿ì¸®°¡ Àüü ¸ðÁý´Ü¿¡¼ ¿ÀÌ ÀÖÀ» È®·ü ¸¦ ¸ð¸£°í, °¨±âÀÎ »ç¶÷ÀÌ ¿ÀÌ ÀÖÀ» È®·ü
°ú °¨±â°¡ ¾Æ´Ñ »ç¶÷ÀÌ ¿ÀÌ ÀÖÀ» È®·ü
À» ¾È´Ù¸é, »çÀü È®·üÀ» »ç¿ëÇÏ¿©
¸¦ ´ÙÀ½°ú °°ÀÌ ±¸ÇÒ ¼ö ÀÖ´Ù. (½Ä (A) »ç¿ë)
È®·ü ´Â »çÀüÈ®·ü (prior probability) ¶ó°í ºÒ¸®¿ì´Âµ¥ feature°ªÀ» ¾Ë±â Àü¿¡
¸ðÁý´Ü¿¡¼ÀÇ class È®·üÀ̱⠶§¹®ÀÌ´Ù. »çÀü È®·üÀº training set À̳ª ´Ù¸¥ »óȲ¿¡¼
±¸ÇØÁø´Ù. Á¶°ÇºÎ È®·ü
´Â »çÈÄÈ®·ü (posterior probability) À̶ó ºÒ¸®¿ì´Âµ¥ feature °ªÀ» ¹ß°ßÇÑ
ÈÄ¿¡ È®·üÀ̱⠶§¹®ÀÌ´Ù.
Bayes' Á¤¸® (B) ½ÄÀ» ÀÌ¿ëÇÏ¿© µÎ class ( ,
)»çÀÌÀÇ likelihood ratio
À» ±¸ÇÒ ¼ö ÀÖ´Ù.
(B) ½Ä¿¡¼ÀÇ ¿À¸¥ÂÊ ½ÄÀÌ ´Ü¼øÈ µÇ¾î °è»êÀÌ ½¬¿öÁö¸ç µÎ °³ÀÇ class¸¦ ½±°Ô ºñ±³ÇÑ´Ù.
´ÜÁö µÎ °³ÀÇ class ¿Í
ÀÇ likelihood ratio ´Â ´ÙÀ½°ú °°´Ù.
ÀÌ 1 º¸´Ù Å©¸é class
¸¦ sampleÀÌ ¼ÓÇÏ´Â class ·Î ¼±ÅÃÇϰí 1 º¸´Ù ÀÛÀ¸¸é
¸¦ ¼±ÅÃÇÑ´Ù. class ¸â¹öÀÇ Á¶°ÇºÎ È®·üÀÇ ÇÕÀº 1 À̾î¾ß Çϱ⠶§¹®¿¡ µÎ °³ÀÇ
class ¸¸ ÀÖ´Â °æ¿ì¿¡
À̹ǷΠÀ§ÀÇ ½Ä¿¡ ´ëÀÔÇÏ¸é ´ÙÀ½ÀÌ ¾ò¾îÁø´Ù.
Example 3.2 ELISA test¸¦ ÀÌ¿ëÇÑ HIV virus ÀÇ °ËÃâ
¾î¶² ȯÀÚ°¡ HIV virus °¡ °É¸° °ÍÀ¸·Î ÀǽɵǸé
Ç÷¾×ÀÇ Ç×ü¸¦ °Ë»çÇÏ´Â ELISA (enzyme linked immunosorbent assay) test¸¦ ÇϰԵȴÙ.
¸¦ HIV virus¸¦ °¡Áø »ç°ÇÀ¸·Î,
¸¦ °¡ÁöÁö ¾ÊÀº »ç°ÇÀ¸·Î, Pos ¸¦ test¿¡¼ ¾ç¼ºÀ¸·Î ³ª¿Â »ç°Ç, Neg ´Â À½¼ºÀ¸·Î
³ª¿Â »ç°ÇÀ¸·Î µÐ´Ù. test¿¡¼ ¾ç¼ºÀ¸·Î ³ª¿Â °æ¿ì ȯÀÚ°¡ HIV virus¸¦ °¡Áú È®·ü
Áï
À» ±¸ÇÏ¿© º¸ÀÚ. ÀÌ °æ¿ì ÀÓ»ó¿¡¼ ´ÙÀ½°ú °°Àº È®·üÀ» °¡Á¤ÇÑ´Ù.
Bayes' Á¤¸®¸¦ »ç¿ëÇÏ¿© ´ÙÀ½°ú °°Àº ´äÀ» ±¸ÇÒ ¼ö ÀÖ´Ù.
±¸ÇØÁø È®·ü°ªÀÌ 0.5 º¸´Ù Å©±â ¶§¹®¿¡ ÇØ´ç ȯÀÚ´Â HIV virusÀÏ È®·üÀÌ ³ô´Ù°í °á·ÐÁþ´Â´Ù.
´ÙÀ½°ú °°Àº likelihood ratio¸¦ »ç¿ëÇØ¼µµ °°Àº °á°ú¸¦ ¾òÀ» ¼ö ÀÖ´Ù.
ratio °ªÀÌ 1 º¸´Ù Å©±â ¶§¹®¿¡ HIV virusÀÏ È®·üÀÌ
³ô´Ù°í °á·ÐÁþ´Â´Ù. ¿©±â¼ ¾ò¾îÁø ·ÎºÎÅÍ ´ÙÀ½°ú °°ÀÌ
À» °è»êÇÏ¿© Bayes' Á¤¸®·Î ¾ò¾îÁø °Í°ú °°Àº °á°ú¸¦ ¾ò´Â´Ù.
¸¸ÀÏ ³ª
°¡ ³Ê¹« À۾Ƽ
ÀÏ °æ¿ì´Â ºñ·Ï test °¡ ¾ç¼ºÀÌ¶óµµ virus °¡ ¾ø´Â °ÍÀ¸·Î °á·ÐÀÌ ³¯ °ÍÀÌ´Ù.
¶ÇÇÑ º´ ÀÚüº¸´Ùµµ test ¿¡¼ÀÇ error °¡ ÀÖÀ» °¡´É¼ºµµ ÀÖ´Ù. ¸¹Àº º´¿ø¿¡¼
´Â ¸Å¿ì ³·±â ¶§¹®¿¡ ù ¹øÂ° test¿¡¼ ¾ç¼ºÀÌ ³ª¿Â °æ¿ì µÎ ¹øÂ° ELISA test¸¦
ÇÏ´Â °ÍÀ» ±âº»À¸·Î ÇÑ´Ù. µÎ ¹øÂ° test °¡ ¾ç¼ºÀÏ °æ¿ì Western Blot test ¸¦ ÇÏ¿©
È®ÀÎ test¸¦ ÇÏ°Ô µÈ´Ù. ºñ·Ï Western Blot test °¡ ELISA test º¸´Ù ´õ Á¤È®ÇÏÁö¸¸
³Ê¹« ºñ½Î±â ¶§¹®¿¡ ȯÀÚ°¡ virus ¿¡ °É·È´Ù´Â °ÅÀÇ È®½ÇÇÑ Áõ°Å°¡ ¾øÀ¸¸é ½ÃÇàÇÏÁö
¾Ê´Â´Ù.
Bayes' Á¤¸®´Â ÀÌ»ê ºÐÆ÷(discrete distribution)
¸¦ ´ë½ÅÇÏ¿© continuous
densities °¡ »ç¿ëµÇ´õ¶óµµ °ÅÀÇ º¯È´Â ¾ø´Ù. ÀÓÀÇÀÇ º¯¼ö °¡ class
¿¡ ´ëÇØ
ÀÇ density¸¦ °¡Áö°í »çÀüÈ®·üÀÌ
¶ó°í °¡Á¤ÇÏÀÚ. ÀÓÀÇÀÇ º¯¼ö°¡
¿Í
»çÀÌ¿¡ ÀÖ´Â »ç°ÇÀ»
¶ó ÇÑ´Ù. class
ÀÇ °æ¿ì ÀÌ»ç°ÇÀÇ È®·ü
´Â conditional density function ¸¦ ÀûºÐÇÑ °ÍÀÌ´Ù.
classes ÀÇ »ç°Ç
ÀÇ È®·ü
À§ÀÇ ±×¸²¿¡¼ º¸¶ó»ö ºÎºÐÀÌ
ÀÌ´Ù.
°¡ 0 ¿¡ °¡±îÀÌ °¥¼ö·Ï
´Â ±× ±¸°£¿¡¼ »ó¼ö°ªÀ¸·Î ±Ù»çÇÏ°Ô µÇ°í º¸¶ó»ö ºÎºÐÀº
¿¡ Á¢±ÙÇÑ´Ù. À̰ÍÀ» Bayes' Á¤¸®¿¡ ´ëÀÔÇϸé
À§ ½ÄÀÇ ºÐÀÚ¿Í ºÐ¸ð¸¦ ·Î ³ª´©°í limit ¸¦ ÃëÇϸé
À§ ½ÄÀº
continuous desities ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®ÀÌ´Ù. distribution functions ÀÌ density functions
À¸·Î ¹Ù²ï °Í ¸»°í´Â discrete ÀÇ °æ¿ì¿Í °°´Ù. ¶ÇÇÑ likelihood ratio µµ °°´Ù.
Example 3.3 ACT Á¡¼ö¿¡ µû¸¥ ´ëÇÐ ÀÀ½ÃÀÚÀÇ ºÐ·ù
Eastsoutheastern ÁÖ¸³´ëÀÇ ±â·Ï¿¡ µû¸£¸é, ½ÅÀÔ»ýÀÌ
5 ³â À̳»¿¡ Á¹¾÷ÇÒ È®·üÀº 0.8 ÀÌ´Ù. 5 ³â³»¿¡ Á¹¾÷ÇÏ´Â ÇлýÀÇ ACT (American College
Test) Á¡¼ö´Â Æò±Õ°ª 26 Ç¥ÁØÆíÂ÷ 2¸¦ °¡Áö¸ç Á¤±Ô ºÐÆ÷ÇÑ´Ù. 5 ³â³»¿¡ Á¹¾÷ ¸øÇÏ´Â
ÇлýÀÇ Á¡¼ö´Â Æò±Õ°ª 22 Ç¥ÁØÆíÂ÷ 3¸¦ °¡Áö¸ç Á¤±Ô ºÐÆ÷ÇÑ´Ù. µÎ°¡Áö °æ¿ì´Â mutually
exclusive »ç°ÇÀÌ¸ç °¢°¢ µÎ °³ÀÇ class ¿Í
·Î Ç¥ÇöµÈ´Ù. ¸¸ÀÏ ÇÑ ÇлýÀÇ ACT Á¡¼ö°¡ 22 ¶ó¸é ±× ÇлýÀÌ 5 ³â³»¿¡ Á¹¾÷ÇÒ
È®·üÀ» ±¸Çغ¸ÀÚ.
Á¹¾÷ÇÒ »ç°Ç , Á¹¾÷ ¸øÇÏ´Â »ç°Ç
, À̶§
´Â
¿Í
,
´Â
¿Í
À̰í, »çÀü È®·ü
À̸ç
ÀÌ´Ù. À̶§
À̸ç
continuous density ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®¿¡ ´ëÀÔÇϸé
µû¶ó¼ ÇØ´ç ÇлýÀº Á¹¾÷ÇÒ È®·üÀÌ ´Ù¼Ò ³·Àº °ÍÀ» ¾Ë ¼ö ÀÖ´Ù.
À§ÀÇ °æ¿ì¿Í ´Þ¸® ´ÜÁö Á¹¾÷ÇÒ °ÍÀÌ³Ä ¾Æ´Ï³Ä ¸¸À» ±¸ºÐÇÏ´Â ¹®Á¦¶ó¸é ´ÙÀ½ÀÇ likelihood ratio¸¦ »ç¿ëÇÑ´Ù.
À̱⠶§¹®¿¡ Á¹¾÷ ¸øÇÒ È®·üÀÌ ³ô´Ù´Â °ÍÀ» ¾Ë ¼ö ÀÖ´Ù.
½Ä¿¡ ´ëÀÔÇÏ¿© º¸¸é
°¡ ±¸ÇÏ¿©Á® À§ÀÇ °ª°ú °°´Ù.
(a) ACT Á¡¼öÀÇ Á¶°ÇºÎ density function (b) »çÀü È®·ü¿¡ ÀÇÇØ °¡ÁßÄ¡°¡ ºÎ¿©µÈ Á¶°ÇºÎ density function
continuous density ÀÇ °æ¿ì class ÀÇ »çÈÄÈ®·ü
¸¦ ºñ±³ÇÏ¿© sample µéÀ» ºÐ·ùÇÏ´Â ´Ù¸¥ ¹æ¹ýÀº °¡Àå °¡´É¼º ÀÖ´Â class¿¡¼
ÀÇ decision regionÀ» °è»êÇÏ´Â °ÍÀÌ´Ù. °¢ decision region Àº ÇϳªÀÇ class¿Í
¿¬°üµÈ´Ù. feature value
·Î¼ sampleÀ» ºÐ·ùÇϱâ À§ÇØ
¸¦ Æ÷ÇÔÇÏ´Â decision regionÀ» °áÁ¤Çϰí
¸¦ ÇØ´ç Áö¿ªÀÇ class ¿¡ ÇÒ´çÇÑ´Ù. decision region »çÀÌÀÇ °æ°è¸¦ decision
boundary ¶ó°í ÇÑ´Ù. ÀûÀýÇÑ decision boundary´Â feature space¸¦
À¸·Î ±¸ºÐÇÏ¿©,
¿¡¼ÀÇ
ÀÇ °ªÀÌ ¾î¶² ´Ù¸¥ class º¸´Ù
¿¡ ¼ÓÇÒ È®·üÀÌ ³ôµµ·Ï ÇÑ´Ù. ¸¸ÀÏ feature value °¡ µÎ class »çÀÌÀÇ decision
boundary »ó¿¡ ÀÖ´Ù¸é µÎ °³ÀÇ class ¿¡ ¼ÓÇÒ È®·üÀº °°´Ù. µÎ class
¿Í
»çÀÌÀÇ ÀûÀýÇÑ decision boundary¸¦ °è»êÇϱâ À§ÇØ, ¸¸ÀÏ density °¡ continuous
Çϰí overlappingµÇ¾ú´Ù¸é ±×µéÀÇ »çÈÄÈ®·üÀÌ °°´Ù°í ÇÒ ¼ö ÀÖ´Ù.
Bayes' Á¤¸®¸¦ ´ëÀÔÇÏ°í ¸¦ Á¦°ÅÇϸé
at the optimal decision boundary.
¸¸ÀÏ °¢ class ¿Í
°¢°¢ÀÇ feature
°¡ Á¤±Ô ºÐÆ÷ÇÑ´Ù¸é ´ÙÀ½°ú °°ÀÌ µÈ´Ù.
¸¦ Á¦°ÅÇÏ°í ¾çº¯¿¡ natural log¸¦ ÃëÇϰí -2¸¦ °öÇϸé
ÀûÀýÇÑ decision boundaries ´Â
ÀÌ ¹æÁ¤½ÄÀ» ¸¸Á·ÇÏ´Â °ª¿¡ À§Ä¡ÇÑ´Ù. À§ÀÇ ¹æÁ¤½ÄÀº ´ÙÀ½°ú °°Àº discriminant function À¸·Î º¯È¯
µÉ ¼ö ÀÖ´Ù.
°¡ 0 ÀÎ ÁöÁ¡ÀÌ decision boundary ÀÌ´Ù.
°¡ ¾ç¼öÀ̸é class
ÀÏ È®·üÀÌ ³ô°í
°¡ À½¼ö¸é class
ÀÏ È®·üÀÌ ³ô´Ù.
Example 3.4 ÀûÀýÇÑ 1 Â÷¿ø decision boundary ÀÇ °è»ê
Example 3.3 ÀÇ °æ¿ì decision boundaries ¸¦ °è»êÇϱâ À§ÇÑ ½Ä¿¡ ¾Æ·¡ data ¸¦ ´ëÀÔÇÑ´Ù.
À§ÀÇ °úÁ¤À» ÅëÇØ ´ÙÀ½ÀÇ °ªÀÌ ±¸ÇØÁø´Ù.
ÀÌ·¯ÇÑ µÎ °³ÀÇ decision boundary ´Â feature space¸¦ 3 °³ÀÇ decision region À¸·Î ³ª´©°í ´ÙÀ½ÀÇ decision ruleÀ» ¸¸µç´Ù.
¿¡¼ÀÇ decision boundary ´Â µÎ class ÀÇ Æò±Õ°ª¿¡¼ ³Ê¹« ¸Ö¸® ¶³¾îÁ® ÀÖ¾î(¾à
five standard deviation ¸¸Å) 3 ¹é¸¸Áß Çϳª ÀÌÇÏÀÇ sample ¸¸ÀÌ class
¸¦ À§ÇÑ À§ÂÊ decision region ¿¡ ³õ¿©ÀÖ°Ô µÈ´Ù (°¢ ±×·ìÀÇ ACT Á¡¼ö°¡ Á¤±ÔºÐÆ÷ÇÑ´Ù´Â
°¡Á¤ÇÏ¿¡). ½ÇÁ¦ÀÇ °æ¿ì¿¡´Â featureµéÀº Á¤È®ÇÏ°Ô Á¤±ÔºÐÆ÷ ÇÏÁö´Â ¾ÊÀ» °ÍÀÌ´Ù.
¸íÈ®È÷
¿¡ ¼ÓÇÏ´Â ¾î¶² Çлýµµ Á¹¾÷°¡´ÉÇÏ¿©
·Î ºÐ·ùµÇ¾î¾ß ÇÒ °ÍÀ̹ǷΠÀÌ·¯ÇÑ °æ¿ì¿¡´Â ´ÜÁö ÇϳªÀÇ decision boundary
¸¸ÀÌ Àǹ̰¡ ÀÖÀ» °ÍÀÌ´Ù. ÀÌ·¯ÇÑ ¸ðµ¨¿¡¼´Â °¡´ÉÇÑ ºÎÁ¤È®¼ºÀ» ¼öÁ¤Çϱâ
À§ÇÏ¿©, ÀûÀýÇÑ Å©±âÀÇ data setÀ» »ç¿ëÇϰí
ºÎ±Ù¿¡¼ ´Ù¾çÇÑ decision boundary ¿¡ ÀÇÇØ ¸¸µé¾îÁø ºÐ·ùÀÇ Á¤È®¼ºÀ» ºñ±³ÇÏ¿©
¼³°è¸¦ Á¤¹ÐÈÇØ¾ß ÇÒ °ÍÀÌ´Ù.
, the
»çÀü È®·ü°ú Á¶°ÇºÎ È®·ü¿¡ ÀÇÇØ
°è»êµÇ¾îÁø »çÈÄ È®·üÀÇ ±×¸² ( ¿Í
) ÀÌ´Ù. (a) µÎ Á¡¿¡¼ ±³Â÷ÇÑ´Ù (two real roots), (b) ÇÑÁ¡¿¡¼ ±³Â÷ ÇÏ´Â
°ÍÀ¸·Î ÀϹÝÀûÀÎ ±×¸²ÀÌ´Ù (one real root). (c) Á¢ÇØÀÖ´Â(tangent) ±×¸²À¸·Î decision
boundary °¡ ¾ø´Ù(a repeated real root),
(d) ±³Â÷Á¡ÀÌ ¾øÀ¸¸ç ÀüºÎ A class ¶ó°í ÁÖÀåÇÏ´Â °ÍÀÌ °¡´ÉÇÏ´Ù(no real root).
....................
¸¸ÀÏ class µéÀÌ feature°ø°£¿¡¼
³Ð°Ô ¶³¾îÁ® ÀÖÁö ¾ÊÀ¸¸é single feature ·Î¼ class µéÀ» Àß ½Äº°ÇØ ³¾ ¼ö´Â ¾ø´Ù.
±×·¯³ª µÎ °³ ÀÌ»óÀÇ feature°¡ »ç¿ëµÈ´Ù¸é ¿©·¯°³ÀÇ class µéÀ» Àß ½Äº°ÇØ ³¾ ¼ö
ÀÖÀ» °ÍÀÌ´Ù. ¿©·¯°³ÀÇ feature (multiple feature) ¸¦ °¡Áø °æ¿ìÀÇ Bayes' Á¤¸®´Â
single feature ÀÇ °ªÀ» feature vector x (±¸¼º ¿ä¼Ò·Î¼ single feature¸¦ °¡Áü)ÀÇ °ªÀ¸·Î
¹Ù²Ù¾î ÁÖ¸é µÈ´Ù.
À̻갪(discrete)À»
°¡Áö´Â °æ¿ì¿¡ °³ÀÇ class¿¡ ´ëÇØ ´ÙÀ½ÀÇ Bayse' Á¤¸®°¡ ¾ò¾îÁø´Ù. ¿©±â¼
´Â vector x ÀÌ´Ù.
¿¬¼Ó°ª (continuous)À»
°¡Áö´Â °æ¿ìÀÇ Bayes' Á¤¸®´Â Á¶°Ç È®·ü ¸¦ Á¶°Ç ¹Ðµµ( conditional density)
·Î ¹Ù²ãÁÖ¸é µÈ´Ù.
´Â vector x ÀÌ´Ù.
Example 3.7 ACT Á¡¼ö¿Í class rank ¸¦ »ç¿ëÇÑ ´ëÇÐ ÀÀ½ÃÀÚÀÇ ºÐ·ù
Example 3.3 ¿¡¼ ACT Á¡¼ö
¿¡ ÀÇÇØ ´ëÇÐ ÀÀ½ÃÀÚ¸¦ ºÐ·ùÇÏ´Â °Í¿¡ ´õÇØ¼,ÀÀ½ÃÀÚÀÇ °íµîÇб³ ¿¡¼ÀÇ ¼ºÀû
¹éºÐÀ²¿¡ µû¸¥ µî¼ö
¸¦ »ç¿ëÇØ¼ ºÐ·ùÇÑ´Ù°í °¡Á¤ÇÏÀÚ.
¿Í
ÀÇ conditional density °¡ bivariate normal À̶ó°í °¡Á¤ÇÑ´Ù. (
´Â ¹éºÐÀ²À̱⠶§¹®¿¡ uniformly distribute ÇÑ´Ù. ±×·¯³ª À̰ÍÀÌ Æ¯Á¤ ´ëÇÐÀÇ
ÀÀ½ÃÀÚ¿¡°ÔÀÖ¾î normally distribute ÇÏÁö ¸øÇÏ°Ô ÇÏ´Â °ÍÀº ¾Æ´Ï´Ù.)
class ¸¦ À§ÇÑ Àμö´Â
,
,
,
,
,
ÀÌ´Ù.
class ¸¦ À§ÇÑ Àμö´Â
,
,
,
,
,
ÀÌ´Ù.
À§ÀÇ °æ¿ì ACT Á¡¼ö 22 À̸ç Çб޵î¼ö°¡ 70 µîÀÎ ÀÀ½ÃÀÚ°¡ 5 ³â³»¿¡ Á¹¾÷ÇÒ È®·üÀº ¾ó¸¶Àΰ¡?
bivariate normal density ½ÄÀº ´ÙÀ½°ú °°ÀÌ Ç¥ÇöµÈ´Ù.
class ¿¡ ´ëÇÑ À§ÀÇ Àμö °ªÀ» ´ëÀÔÇϸé
class ¿¡ ´ëÇÑ À§ÀÇ Àμö °ªÀ» ´ëÀÔÇϸé
continuous density ÀÇ °æ¿ìÀÇ Bayes' Á¤¸®
À§ÀÇ ½ÄÀ» »ç¿ëÇÏ¿© »çÈÄÈ®·üÀ» ´ÙÀ½°ú °°ÀÌ ±¸ÇÑ´Ù.
ACT Á¡¼ö 22 À̸ç Çб޵î¼ö°¡ 70 µîÀÎ ÀÀ½ÃÀÚ°¡ 5 ³â³»¿¡ Á¹¾÷ÇÒ È®·üÀº 10 % ÀÓÀ» ¾Ë ¼ö ÀÖ´Ù.
2°³ ÀÌ»óÀÇ feature °¡ »ç¿ëµÉ ¶§
multivariate normal density ÀÇ Áö¼ö´Â °¢ feature µéÀÇ ½ÖÀÇ °ö, feature ÀÇ
Á¦°ö°ú linear term µîÀ» Æ÷ÇÔÇÏ´Â ÀϹÝÀûÀÎ 2 Â÷½ÄÀÌ´Ù. ¸¸ÀÏ features ÀÇ °æ¿ì¶ó¸é
termsÀ» °á°úÇÑ´Ù.
°¡ Áß°£Á¤µµÀÇ °ªÀ» °¡Áú °æ¿ì ¸¸ÀÏ matrix notation ÀÌ »ç¿ëµÇÁö ¾Ê´Â´Ù¸é
Ç¥ÇöÇϱⰡ ¾î·Æ°Ô µÈ´Ù.
´Â mean vector À̰í
´Â covariance matrix ÀÌ´Ù. ÀÌ °æ¿ì multivariate normal density ´Â ´ÙÀ½°ú
°°´Ù.
.....................
ÇϳªÀÇ ¹®Á¦¿¡¼ ¿©·¯°³ÀÇ ÀÌ»ê feature°¡
ÀÖÀ» °æ¿ì, °¢ class¸¦ À§ÇÑ feature°ªµéÀÇ ¸ðµç °¡´ÉÇÑ Á¶ÇÕÀÇ È®·üÀ» ÃßÁ¤ÇØ ³¾
Á¤µµ·Î ÃæºÐÇÑ sampleÀÌ ÀÖÀ» ¼ö´Â ¾ø´Ù. Áï °³ÀÇ class¸¦ °¡Áö°í
°³ÀÇ feature¿Í °¢ feature°¡
°³ÀÇ °ªÀ» °¡Áø´Ù°í ÇÏÀÚ. À̶§´Â
°³ÀÇ class °¢°¢¿¡ ´ëÇØ
°³ÀÇ °¡´ÉÇÑ »ç°ÇÀÌ ÀÖÀ» ¼ö ÀÖ°í, µû¶ó¼
°³ÀÇ °¡´ÉÇÑ µ¥ÀÌÅÍ Á¶ÇÕÀÌ °¡´ÉÇÏ´Ù.
¿¹¸¦ µé¸é Áúº´ Áø´Ü¿¡ ÀÖ¾î¼ 10
°¡ÁöÀÇ Áõ»óÀÌ ÀÖ°í °¢°¢ÀÇ Áõ»ó¿¡ ´ëÇØ 4 °³ÀÇ °¡´ÉÇÑ ´äº¯ÀÌ ÀÖÀ» ¼ö ÀÖ´Ù°í ÇßÀ»
¶§ 3 °³ÀÇ º´Áß¿¡¼ ¾î¶² º´ÀÎÁö¸¦ ½Äº°ÇØ ³»´Â °£´ÜÇÑ °æ¿ì°¡ ÀÖ´Ù°í ÇÏÀÚ. À̶§
°¡´ÉÇÑ °æ¿ìÀÇ ¼ö´Â °³ À̰í
°³ÀÇ »ç°ÇÀÇ Á¶ÇÕÀÌ °¡´ÉÇÏ´Ù. ±× °¢°¢¿¡ ´ëÇØ È®·ü°ªÀÌ ±¸ÇØÁ®¾ß ÇÑ´Ù. ¸¸ÀÏ
ÀÌÀü¿¡´Â ¹ßº´ÇÑ ÀûÀÌ ¾ø´Â »õ·Î¿î Á¾·ùÀÇ Áúº´ÀÇ °æ¿ì¶ó¸é ¾î¶² Ãß°¡ÀûÀÎ °¡Á¤À»
ÇÏÁö ¾Ê°í´Â 3 °³ÀÇ Áúº´ÀÇ È®·üÀ» ÃßÁ¤ÇÒ ¹æ¹ýÀº ¾øÀ» °ÍÀÌ´Ù.
°¡´ÉÇÑ Á¶ÇÕÀÇ ¼ö¸¦ °¨¼Ò½ÃŰ´Â ÇϳªÀÇ
¹æ¹ýÀº °¢ class ¿¡ ÁÖ¾îÁø feature °¡ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÏ´Â °ÍÀÌ´Ù. ±×·¯¸é ´Ù¾çÇÑ
feature vector ÀÇ È®·üÀÌ °öÇϱ⸦ ÇÏ¿© ÃßÁ¤µÉ ¼ö ÀÖ´Ù. Áï Áúº´ ÀÇ °æ¿ì¿¡ feature vector °¡ °ª
À» °¡Áú È®·üÀº ´ÙÀ½°ú °°ÀÌ ±¸ÇØÁø´Ù.
À§¿Í °°ÀÌ Çϸé
ÀÌ ¾Æ´Ï¶ó
°³ ¸¸ÅÀÇ È®·ü°ª¸¸ ±¸Çغ¸¸é µÈ´Ù
Àüü ¸ðÁý´Ü¿¡ ´ëÇØ feature µéÀÌ
µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÏ¿© ¸¦
·Î ¹Ù²Ù´Â °ÍÀº À߸øÀÏ °ÍÀÌ´Ù. ¿Ö³ÄÇϸé ÀÌ·¯ÇÑ °¡Á¤ÀÌ ÀÌ¿ëÇÒ ¼ö ÀÖ´Â data
¿Í ¸ð¼øµÇ¾î class ¸â¹öÀÇ ¸ðµç »çÈÄÈ®·üÀÇ ÇÕÀÌ 1 ÀÌ ¾Æ´Ò °ÍÀ̱⠶§¹®ÀÌ´Ù.
ÀÌ·¯ÇÑ µÎ °¡Á¤À» ÀÌÇØÇϱâ À§ÇÏ¿©,
´ÙÀ½ ±×¸²ÀÇ (a) ´Â ¿¬¼Ó feature ¿Í
»óÀÇ µÎ class °¡ »ç°¢ÇüÀ§¿¡ uniformly distribute ÇÏ´Â °ÍÀ» º¸¿©ÁØ´Ù. feature
¿Í
´Â °¢ class ³»¿¡¼ µ¶¸³ÀûÀÌ´Ù. ¿¹¸¦µé¸é ¸¸ÀÏ class °¡
¶ó´Â °ÍÀ» ¾Ë¸é
¸¦ ¾Ë¾Æµµ
¿¡ ´ëÇÑ ¾î¶² ºÎ°¡ÀûÀÎ Á¤º¸µµ ÁÖÁö ¾Ê´Â´Ù. ±×·¡¼
¿Í
´Â class
ÀÇ ¸â¹ö¿¡ ´ëÇÏ¿© µ¶¸³ÀûÀÌ´Ù. ¶ÇÇÑ class
¿¡ ´ëÇØ¼µµ ¸¶Âù°¡Áö´Ù. ±×·¯³ª feature
¿Í
´Â Àüü ¸ðÁý´Ü¿¡ ´ëÇØ¼´Â µ¶¸³ÀûÀÌÁö ¾Ê´Ù. ½ÇÁ¦·Î ¸¸ÀÏ
°¡ °¡´ÉÇÑ ¹üÀ§ÀÇ ³ôÀº ºÎºÐ¿¡ ÀÖ´Ù¸é
µµ ¶ÇÇÑ ±× ¹üÀ§ÀÇ ³ôÀº ºÎºÐ¿¡ ÀÖ¾î¾ß ÇÑ´Ù. ±×·¡¼
¿Í
´Â ±× ¸ðÁý´Ü¿¡¼ positively correlated µÇ¾îÀÖ´Ù.
¹Ý¸é¿¡ ´ÙÀ½ ±×¸² (b) ´Â »ï°¢Çü
³»¿¡¼ uniformly distribute ÇÏ´Â class µéÀ» º¸¿©ÁØ´Ù. ÀÌ °æ¿ì
¿Í
´Â Àüü ¸ðÁý´Ü¿¡¼´Â µ¶¸³ÀûÀÌÁö¸¸ °¢ class ¿¡¼´Â ±×·¸Áö ¾Ê´Ù. ¸¸ÀÏ class¸¦
¸ð¸£´Â °æ¿ì
¸¦ ¾Ë¾Æµµ
¿¡ ´ëÇØ¼´Â ¾î¶² Á¤º¸µµ ¾Ë ¼ö ¾ø´Ù. ±×·¯³ª ¸¸ÀÏ class °¡
¶ó´Â °ÍÀ» ¾Ë°í
°¡ Å©´Ù´Â °ÍÀ» ¾Ë¸é
°¡ °¡´ÉÇÑ ¹üÀ§ÀÇ ¾Æ·¡ÂÊ¿¡ ÀÖ´Ù´Â °ÍÀ» ÀǹÌÇÑ´Ù.
density ¿Í
´Â °¢ »ç°¢Çü ¶Ç´Â »ï°¢Çü³»¿¡¼ ÀÏÁ¤Çϸç
À̶ó°í °¡Á¤ÇÑ´Ù.
(a) Feature ¿Í
´Â °¢ class ³»¿¡¼ µ¶¸³ÀûÀÌÁö¸¸ Àüü ¸ðÁý´Ü¿¡¼´Â ±×·¸Áö ¾Ê´Ù.
(b)
Feature ¿Í
´Â Àüü ¸ðÁý´Ü¿¡¼´Â µ¶¸³ÀûÀÌÁö¸¸ °¢ class µéÀº ±×·¸Áö ¾Ê´Ù.
¸¸ÀÏ classes ¿Í
features °¡ ÀÖ´Ù¸é, feature µéÀÌ °¢ class ³»¿¡¼ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÒ ¶§
¸¦ °è»êÇϱâ À§ÇØ feature µéÀÌ ¸ðÁý´Ü ³»¿¡¼ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÒ ÇÊ¿ä´Â
¾ø´Ù. ´ÙÀ½ÀÇ ½ÄÀº
°¢ class ³»¿¡¼ ´ÙÀ½ÀÇ °¡Á¤ ÇÏ¿¡¼¸¸ °è»êµÉ ¼ö ÀÖ´Ù.
À§ÀÇ µÎ½ÄÀ» multiple feature ÀÇ °æ¿ìÀÇ ´ÙÀ½ Bayes' Á¤¸®¿¡ ´ëÀÔÇϸé
class °¡ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÔÀ¸·Î½á ÀÌÀü¿¡´Â °áÄÚ º¼ ¼ö ¾ø¾ú´ø feature µéÀÇ Á¶ÇÕµéÀ» À§ÇÑ class ¸â¹öÀÇ È®·üÀ» ÃßÁ¤ÇÒ ¼ö ÀÖ´Ù. ±×·¯³ª ¸¸ÀÏ µ¶¸³ÀûÀ̶ó´Â °¡Á¤ÀÌ »ç½ÇÀÌ ¾Æ´Ï¶ó¸é ÀÌ·¯ÇÑ È®·ü ÃßÁ¤Ä¡ °¢°¢Àº error¸¦ ¹ß»ý½Ãų °ÍÀÌ´Ù. ¸¸ÀÏ data °¡ À̿밡´ÉÇÏ´Ù¸é, chi-squared test °°Àº Åë°èÀû test¸¦ »ç¿ëÇÏ¿© feature µéÀÌ µ¶¸³ÀûÀ̶ó´Â °¡¼³À» test ÇÒ ¼ö ÀÖ´Ù.
class ¿¡ ÁÖ¾îÁø featureµéÀÌ µ¶¸³ÀûÀ̶ó°í
°¡Á¤ÇÔÀ¸·Î½á, ·Î ºÎÅÍ
±îÁö ÃàÀûµÇ¾î¾ß¸¸ ÇÏ´Â data ÀÇ °¡´ÉÇÑ Á¶ÇÕÀÇ ¼ö¸¦ °¨¼Ò½ÃŲ´Ù (
classes ¿Í
features, °¢ feature ¿¡ ´ëÇÑ
values¸¦ °¡Á¤ÇÒ ¶§), À§¿¡¼
ÀÇ °æ¿ì¿¡ ÃàÀûµÈ data ÀÇ ¾çÀÌ 3,145,728 °³ÀÇ Á¶ÇÕÀÌ ÇÊ¿äÇÏ¿´´Ù. ±×·¯³ª
¸¸ÀÏ feature µéÀÌ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÑ´Ù¸é, ´ÜÁö
°³ÀÇ Á¶ÇÕ¸¸ °í·ÁÇÏ¸é µÈ´Ù. ÀÌ·¯ÇÑ ¹æ¹ýÀÇ ´ÜÁ¡Àº, ¸¸ÀÏ feature µéÀÌ ½ÇÁ¦·Î
conditionally independent
ÇÏÁö ¾Ê´Ù¸é ±× °á°ú°¡ bias µÉ ¼ö ÀÖ´Ù´Â °ÍÀÌ´Ù.
Example 3.10 µÎ ¹øÀÇ ELISA test¸¦ »ç¿ëÇÑ HIV virus ÀÇ °ËÃâ
Example 3.2 ¿¡¼ ³íÀÇÇÑ ´Ü ÇѹøÀÇ ELISA test ¸¸À¸·Î´Â ÃæºÐÈ÷ Á¤È®ÇÑ °á°ú¸¦ º¸ÀÌÁö ¾Ê´Âµ¥, ƯÈ÷ ÁÖ¾îÁø ¸ðÁý´Ü¿¡¼ HIV virus ÀÇ »çÀüÈ®·üÀÌ ³·À» ¶§ ±×·¸´Ù. µû¶ó¼ ù ¹øÂ° test °¡ ¾ç¼ºÀÏ ¶§ µÎ ¹øÂ° ELISA test °¡ º¸Åë ÇàÇØÁø´Ù.
¸¦ HIV virus¸¦ °¡Áø »ç°ÇÀ¸·Î,
¸¦ °¡ÁöÁö ¾ÊÀº »ç°ÇÀ¸·Î, Pos ¸¦ ù ¹øÂ° test¿¡¼ ¾ç¼ºÀ¸·Î ³ª¿Â »ç°Ç, Neg ´Â À½¼ºÀ¸·Î
³ª¿Â »ç°ÇÀ¸·Î µÐ´Ù. µÎ ¹øÀÇ µ¶¸³ÀûÀÎ test °¡ ÇàÇØÁú ¶§
´Â ù ¹øÂ°´Â
µÎ ¹øÂ°´Â
ÀÇ °æ¿ìÀ̰í,
´Â µÎ ¹øÀÇ test °¡ ¸ðµÎ ¾ç¼ºÀÎ °æ¿ìÀÌ´Ù. ÀÌ °æ¿ì ÀÓ»ó¿¡¼ ´ÙÀ½°ú °°Àº È®·üÀ» °¡Á¤ÇÑ´Ù.
°¢ class ³»¿¡¼ test µéÀÌ µ¶¸³ÀûÀ̶ó°í °¡Á¤ÇÏ¸é °ö¼À¹ýÄ¢¿¡ ÀÇÇØ ´ÙÀ½ÀÌ ±¸ÇØÁø´Ù.
Bayes' Á¤¸®¿¡ ÀÇÇÏ¿©
Áï µÎ ¹øÀÇ ELIZA test °¡ ÁÖ¾îÁö°í µÑ´Ù ¾ç¼ºÀ̶ó¸é ±× ȯÀÚ°¡ HIV virus ÀÏ È®·üÀº ¸Å¿ì ³ôÀº È®·ü (0.997)À» º¸ÀδÙ. ¹Ý¸é¿¡ ´ÜÁö ÇѹøÀÇ ELIZA test ¸¸À¸·Î´Â Example 3.2 ¿¡¼ º»´ë·Î ÈξÀ ÀûÀº È®·ü (0.893)À» º¸ÀδÙ.
½ÇÁ¦·Î´Â µÎ ¹øÀÇ test »çÀÌ¿¡ µ¶¸³ÀûÀ̶ó´Â °¡Á¤ÀÌ Á¤´çÇÑÁö¸¦ °áÁ¤Çϱâ À§ÇØ ºÎ°¡ÀûÀÎ data °¡ ¿ä±¸µÉ °ÍÀÌ´Ù. ¸¸ÀÏ test °á°ú°¡ ºÎÁ¤È®ÇÏ°Ô ³ª¿Â °æ¿ì ±×°ÍÀÌ ½ÇÇè½Ç °úÁ¤¿¡¼ÀÇ ÀÓÀÇÀÇ º¯È¹«½ÖÇÔ ¶§¹®À̶ó¸é ±× °á°ú´Â µ¶¸³ÀûÀÏ ¼ö ÀÖ´Ù. ±×·¯³ª ±×°ÍÀÌ È¯ÀÚÀÇ Ç÷¾×¿¡¼ ¾î¶² ÀÏÁ¤ÇÑ ºñÁ¤»ó ¶§¹®À̶ó¸é ±× °á°ú´Â µ¶¸³ÀûÀÏ ¼ö ¾ø´Ù.
..................
¿¬¼Ó°ªÀ» °¡Áö´Â µÎº¯¼ö ,
°¡ ÀÖÀ» ¶§ µÎ °³ÀÇ class ÀÎ
¿Í
´Â ¼·Î ÁßøµÇ´Â ¹üÀ§¸¦ °¡Áö¸ç ±× »çÀÌ¿¡ ÀûÀýÇÑ decision boundary (2Â÷¿ø)
°¡ Á¸ÀçÇÑ´Ù.
±×°ÍÀ» ¶ó°í ÇÒ ¼ö ÀÖ°í ±×·ÎºÎÅÍ Bayes' Á¤¸®¸¦ »ç¿ëÇÏ¿© ´ÙÀ½ ½ÄÀÌ ¾ò¾îÁø´Ù.
---- (1)
°¢ class °¡ ÀÌÇ× Á¤±Ô ºÐÆ÷¸¦ °¡Áø´Ù°í °¡Á¤ÇÏ¸é ´ÙÀ½ ½ÄÀÌ (1) ÀÇ ¾çº¯¿¡ ÀÌ¿ëµÈ´Ù.
---- (2)
2 °³ÀÇ ÀÌÇ× ºÐÆ÷ class¸¦ À§ÇØ ÀûÀýÇÑ decision boundary ¹æÁ¤½Ä(À§ÀÇ (1)½Ä) Àº ¾çº¯¿¡ log¸¦ ÃëÇÏ¿© Á÷¼±À̳ª ¿ø»ÔÇüÀÇ (Ÿ¿ø, Æ÷¹°¼±, ½Ö°î¼±) ½ÄÀ¸·Î Ãà¼ÒµÈ´Ù.
À§ÀÇ ½ÄÀ» decision function or discriminant function À̶ó°í ÇÑ´Ù.
Example 3.12 ÀûÀýÇÑ decision boundary ÀÇ °áÁ¤ (feature µéÀÌ °¢ class ³»¿¡¼ µ¶¸³ÀûÀÏ ¶§ µÎ °³ÀÇ ´Ü¼øÇÑ bivariate normal class µé »çÀÌ)
class ¿Í
°¡ µÑ´Ù bivariate normal ÀÌ¸ç »çÀüÈ®·ü
¸¦ °¡Áö°í ÀÖ´Ù°í °¡Á¤ÇÑ´Ù. class
ÀÇ conditional density¸¦ À§ÇÑ Àμö´Â
À̸ç class
ÀÇ Àμö´Â
ÀÌ´Ù.
°¢ classµéÀ» À§ÇÑ À̱⠶§¹®¿¡ bivariate normal density ´Â simple formÀ» °¡Áø´Ù. ½ÇÁ¦·Î
À̸ç
ÀÌ´Ù. ´ÙÀ½ ½Ä¿¡ ´ëÀÔÇϸé
µÎ °³ÀÇ weighted densities¸¦ °°°Ô³õ°í Àμö¸¦ ´ëÀÔÇϸé
¸¦ Á¦°ÅÇÏ°í ¾çº¯¿¡ natural log ¸¦ ÃëÇϸé
°¡ class
¿Í class
°¡ °°Àº variance¸¦ °¡Áö±â ¶§¹®¿¡
terms ´Â Á¦°ÅµÇ°í Æ÷¹°¼±¸ð¾çÀÇ decision boundary¸¦ º¸ÀδÙ.
¶Ç´Â
Á¡¼±ÀÇ Æ÷¹°¼±ÀÌ º» ¿¹Á¦¸¦ À§ÇÑ
decision boundary ÀÌ´Ù. -axis
¾î¶°ÇÑ normal density function
(
´Â ¾çÀÇ »ó¼ö) À» À§ÇÑ ÀϹÝÀûÀÎ È®·ü ¹ÐµµÀÇ ¸ð¾çÀº Ç×»ó Ÿ¿øÇüÀÌ´Ù. ¿Ö³ÄÇϸé
¸¸ÀÏ
ÀÌ »ó¼ö¶ó¸é, density function¿¡¼ 2 Â÷ Áö¼ö (quadratic exponent) ´Â Ç×»ó
»ó¼öÀ̾î¾ß Çϱ⠶§¹®ÀÌ´Ù.
µû¶ó¼ class Áï
ÀÇ °æ¿ì ±× ¸ð¾çÀÌ (0,0) ÀÌ Áß½ÉÀÎ ¿ø¸ð¾çÀÌ´Ù(¿øÀº Ÿ¿øÀÇ Æ¯º°ÇÑ °æ¿ìÀÌ´Ù). class
Áï
ÀÇ °æ¿ì´Â (2,0) ÀÌ Áß½ÉÀΠŸ¿øÇüÀÌ´Ù. ±×°ÍÀº ±â¿ï¾îÁöÁö ¾Ê¾ÒÀ¸¸ç (class
ÀÇ °æ¿ì´Â
À̱⶧¹®) µû¶ó¼
-term ÀÌ ¾ø´Ù. ±×°ÍÀÇ major axis ´Â
-axis ¿¡ ÆòÇàÇϸç, ¾î¶²
°ª¿¡ ´ëÇØ¼µµ minor axis ±æÀÌÀÇ 2¹èÀÌ´Ù. ÀϹÝÀûÀÎ È®·ü¹ÐµµÀÇ ¸ð¾çÀÇ ÀϺθ¦
À§ÀÇ ±×¸²¿¡¼ º¼ ¼ö ÀÖ´Ù. Ÿ¿øÇüÀÇ Á߽ɿ¡¼
¿Í
¹æÇâÀ¸·Î
¿Í
¸¸Å ¶³¾îÁø À§Ä¡¿¡ µÎ °³ÀÇ Å¸¿øÀÌ ÀÖ´Ù.
¿¹¸¦µé¸é ÀÇ °æ¿ì ÇϳªÀÇ
¸ð¾çÀÇ Á¡Àº
-Ãà¿¡¼
·ÎºÎÅÍ four units ¿¡ ÀÖÀ» °ÍÀÌ´Ù.
ÀÇ °æ¿ì¿¡ ÀÌ Á¡Àº
¿¡ ÀÖ´Ù.
¿Í
decision regionÀ» ±¸ºÐÇÏ´Â decision boundary ´Â ´ÙÀ½°ú °°´Ù.
´ÙÀ½ÀÇ discriminant function ÀÌ ±¸ÇØÁø´Ù.
¸¸ÀÏ À§ÀÇ ±×¸²¿¡¼ À̰í
°¡ Å©´Ù¸é ±× Á¡Àº decision region
¿¡ Á¸ÀçÇϰí
´Â À½¼öÀÏ °ÍÀÌ´Ù.
´Â class
decision region ¿¡¼´Â ¾ç¼öÀÌ´Ù.
feature vector ¸¦ °¡Áö´Â ÇϳªÀÇ sample Àº
¸¦ °è»êÇÏ°í ±× ºÎÈ£¸¦ ¾ÍÀ¸·Î½á ºÐ·ùµÉ ¼ö ÀÖ´Ù. À̶§ ±× sampleÀ» ºÐ·ùÇϱâ
À§ÇØ
³ª
À» °è»êÇÒ ÇÊ¿ä´Â ¾ø´Ù.
..............
................
decision boundary ´Â ´ÙÀ½°ú °°Àº Á¾·ù°¡ ÀÖ´Ù.
(a) ¼±Çü
decision boundary (b)
¿øÇü(circular) decision boundary
. sample ÀÌ ¹ÐÁ¢ÇÏ¸é ¿øÇüÀ¸·Î ³ªÅ¸³´Ù.
(a) Æ÷¹°¼±(parabolic)
decision boundary (b)
Ÿ¿øÇü(elliptical) decision boundary
.
(a) ½Ö°î¼±(hyperbolic)
decision boundary. 2 °³ÀÇ decision boundary °¡ Á¸Àç (b)
±³Â÷µÇ´Â ¼±Çü decision boundary
À̰ÍÀº ½Ö°î¼± decision boundary ÀÇ º¯ÇüÀÌ´Ù.
....................