Co - Occurrence  Matrix

동시발생 매트릭스(Co-Occurrence Matrix) : 장남식.홍성완.장재호 : Co-Occurrence Matrix는 거래(사건) 속에 포함된 품목(항목)간의 연관관계를 발견하고자 할 때 사용하는 data mining 기법이다. 분석의 대상이 되는 데이터는 두 개의 변수, 즉 거래와 품목으로 구성되며, 각각의 거래에 대해 한 개 이상의 품목들이 존재한다. 일반적으로 하나의 거래는 한 고객에 의한 구매를 의미하며, 품목은 그 구매를 통해 구입된 물건이다. Co-Occurrence Matrix는 확률을 이용하여 연관규칙을 제공하는데 먼저 하나의 품목에 대해, 다음으로 두 품목간의 연관규칙을 생성하며 계속해서, 세 품목간, 네 품목간 등으로 이어진다. 연관규칙은 "(품목 A)⇒(품목 B)"의 형태로 표현되며, "품목 A를 포함한 거래는 품목 B도 포함한다."라 해석한다.
  만약 한 상점에서 유통되는 품목의 수가 30가지라고만 하더라도 거래들에 의해 만들어지는 모든 가능한 연관규칙의 수는 (2³⁰-1), 즉 1,073,741,823개이며, 품목의 수가 늘어날수록 규칙의 수는 기하급수적으로 증가한다. 따라서 이들을 여과하여 의미있는 규칙들만을 뽑아내는 기준이 필요한데, 이것이 근거확률(support), 신뢰확률(confidence), 그리고 리프트(lift)이다.

근거확률(Support)
연관규칙 'A⇒B'의 근거확률은 두 품목이 함께 구매되는 확률 'Pr(A∩B)'이며, 다음과 같이 추정한다.
(품목 A와 품목 B를 포함하는 거래의 수) / (전체 거래의 수)
 
근거확률은 상호 대칭적으로 규칙 'A⇒B'의 근거확률은 규칙 'B⇒A'의 근거확률과 같다. 이것은 두 품목의 동시 구매가 얼마나 자주 발생하는가를 측정하는 것이지만, 보다 관심 있는 질문은 "품목 A를 구매하였을 경우 품목 B를 구매하는 가능성은 얼마인가?"이다.
 
신뢰확률(Confidence)
연관규칙 'A⇒B'의 신뢰확률은 품목 A를 구매한 거래가 발생했을 때 그 거래가 품목 B를 포함하는 조건부 확률 'Pr(B/A)', 즉 'Pr(A∩B) / Pr(A)'로서, 다음과 같이 추정한다.
(품목 A와 품목 B를 포함하는 거래의 수) / (품목 A를 포함하는 거래의 수)

신뢰확률은 근거확률과는 달리 상호 대칭적이 아니며, 만약 품목 A와 품목 B의 구매가 상호 독립적일 경우에는 Pr(B/A)는 Pr(B)와 같게 된다.

• 리프트(Lift)
  연관규칙 'A⇒B'의 리프트는 신뢰확률을 기대 신뢰확률로 나눈 값 'Pr(B/A) / Pr(B)'로 정의한다. 따라서 Pr(B/A)의 값은 Pr(B)의 값보다 리프트 비율만큼 크다. 이것은 리프트의 값이 1에 가까우면 품목간에는 상관관계가 거의 없음을 뜻하며, 1보다 크면 클수록 품목간에 양의 상관관계가 많음을 의미한다.

리프트의 의미 및 예

   Co-Occurrence Matrix를 이용하여 연관규칙을 도출할 때는 근거확률, 신뢰확률, 그리고 리프트의 최소기준치(lower bound)를 미리 설정하고, 이 기준을 만족하는 규칙만을 생성하게 함으로써 규칙의 수를 제한할 수 있다. 아울러 근거확률, 신뢰확률, 그리고 리프트는 Co-Occurrence Matrix가 제시하는 규칙들을 평가하는데 상호보완적인 기능을 제공하는데 예를 들어, 어느 한 연관규칙의 신뢰확률이 크더라도 두 품목의 공통 구매율, 즉 근거확률이 어느 정도 수준이 되어야 의미가 있다. 또한 연관규칙 'A⇒B'의 신뢰확률이 높은 경우에도 품목 B가 구매되는 기본 확률이 커야 A를 고려해서 B를 생각하는 것이 의미가 있으므로 리프트 값이 1보다 커야 유용한 정보가 된다.   

  (1) 장점

결과가 "If-then'의 형식으로 제공되기 때문에 이해하기 쉽다.
연관관계 모형을 구축하는데 특별한 전문지식이 필요없다.
따라서 초보자도 손쉽게 사용할 수 있다.
근거확률(교집합), 신뢰확률(조건부확률) 등을 지원하기 때문에 도출된 규칙간의 상호 비교·평가가 쉽다.

  (2) 단점

연관규칙을 도출하는데 소요되는 시간은 데이터에 포함되어 있는 품목들의 수에 비례하여 기하급수적으로 늘어나기 때문에 품목의 수를 줄이는 작업이 필요하다. 그러나 이러한 작업은 쉽지 않을 뿐 아니라, 전혀 예상하지 못했던 품목들간의 연관관계를 찾아낸다는 data mining의 본래 목적에 위배된다.
분석하고자 하는 품목의 수에 비해 레코드(거래)의 수가 상대적으로 충분하지 못하면 신뢰확률이 낮은 엄청난 수의 연관규칙들이 발견되곤 한다. 이 경우 연관규칙들을 비교·평가하여 선별하기가 어렵다.