Bidirectional Associative Memory (양방향 연상 메모리, BAM)
1988년 바트 코스코가 홉필드 모델을 확장하여, 서로 다른 차원의 두 정보 공간 사이에서 전방향과 역방향의 상호 순환 연상을 통해 노이즈가 섞인 패턴을 복원하는 양방향 신경망
1. 양방향 연상 메모리(BAM)가 신경망에서 갖는 의미, 핵심 기능 및 실제 활용 예
양방향 연상 메모리 (Bidirectional Associative Memory, BAM)는 1988년 서던캘리포니아 대학교(USC)의 Bart A. Kosko 교수가 제안한 대표적인 2계층 순환 인공신경망(Bipartite Recurrent Neural Network) 모델입니다. BAM은 존 홉필드(John J. Hopfield)의 단일 계층 모델을 두 개의 계층 구조로 확장함으로써, 연상 메모리 분야에서 오랜 난제였던 이종 연상(Heteroassociative Memory)을 수학적으로 우아하게 구현해냈습니다.
🔄 1) 홉필드 모델의 동종 연상을 이종 연상으로 확장
고전 홉필드 네트워크 (Hopfield Network)는 같은 크기의 벡터가 자기 자신을 기억하고 복원하는 동종 연상(Autoassociation: X → X)에 국한되었습니다. BAM은 크기와 차원이 완전히 다른 두 벡터 공간 사이를 양방향으로 매핑하여, 서로 다른 형태의 데이터 쌍을 상호 호출하는 이종 연상(Heteroassociation: X ↔ Y)을 성공시켰습니다.
⚡ 2) 랴푸노프 에너지 안정성과 양방향 수렴 보장
가중치 행렬 W와 전치 행렬 Wᵀ를 통해 신호가 X → Y → X → Y로 왕복 순환할 때, 코스코가 정의한 에너지 함수 E(X, Y) = -XWYᵀ는 매 스텝마다 단조 감소(ΔE ≤ 0)합니다. 즉, 어떤 노이즈 섞인 초기값이 들어와도 유한한 반복 내에 반드시 안정된 양방향 고정점(Attractor)으로 수렴합니다.
⏱️ 3) 원샷 헵 학습 (One-Shot Hebbian Learning)
수많은 에포크(Epoch)를 돌며 경사하강법으로 미세 조정해야 하는 역전파와 달리, BAM은 기억하고자 하는 패턴 쌍들의 외적(Outer Product) 합만으로 가중치 행렬을 단 한 번에 계산(W = ∑ X^{(k)ᵀ} Y^{(k)})하여 즉각 저장할 수 있습니다.
⚙️ BAM의 핵심 기능과 양방향 순환 메커니즘
X 층에 불완전하거나 노이즈가 낀 입력 패턴이 제시되면, 순방향 가중합 Y = sgn(XW)를 통해 대응하는 Y 패턴을 호출합니다.
생성된 Y 패턴 신호는 전치 행렬 Wᵀ를 타고 즉시 되돌아와 X = sgn(YWᵀ)를 갱신하며 X의 노이즈를 스스로 정제합니다.
신호가 왕복하면서 에너지가 최소점에 도달하면, 더 이상 상태가 변하지 않는 안정된 공명 쌍 (X*, Y*)에 도달하여 연상이 완료됩니다.
📌 BAM의 대표적 활용 분야 및 실제 적용 사례
1. 이종 데이터 매핑 및 교차 양식 검색 (Cross-Modal Retrieval)
- 이미지 ↔ 코드/텍스트 상호 인출: 심하게 훼손된 문자 비트맵 영상(X)을 입력받아 정확한 아스키(ASCII) 코드나 레이블(Y)을 출력하고, 반대로 레이블(Y)을 주면 원본 영상(X)을 복원.
- 다국어 단어 쌍 연상: 한국어 단어 벡터(X)와 영어 단어 벡터(Y)를 상호 기억시켜 양방향 즉시 사전 검색.
2. 노이즈 내성 데이터베이스 및 패턴 인식
- 결손 데이터 복원: 레코드의 일부 필드에 누락이나 잡음이 있어도 관련된 다른 필드들과의 양방향 연상을 통해 누락된 원본 데이터를 완전 복구.
- 퍼지 BAM(Fuzzy BAM): 코스코 교수가 연속 실수 및 퍼지 소속도로 확장하여 복잡한 비선형 제어 시스템, 로봇 센서 융합 등에 응용.
2. 선형 연상기(Linear Associator) 와 BAM 구조 비교
양방향 연상메모리 (Bidirectional Associative Memory, BAM)는 Bart A. Kosko (1988)가 저장된 메모리 상의 이종연상 (heteroassociations)뿐만 아니라 순환 동종연상 (recurrent autoassociations)을 수행하기 위한 부가적인 layer를 통합함으로써 홉필드 모델 (Hopfield model)을 확장한 것입니다.
BAM 모델의 네트워크 구조는 linear associator와 비슷하지만 그 연결은 완벽한 양방향, 즉 w_{ij} = w_{ji} (i = 1, 2, ..., m and j = 1, 2, ..., n)입니다.
또한 각 layer에서의 유닛들은 신호가 전파하는 방향에 따라 입력 유닛도 될 수 있고 출력 유닛도 될 수 있습니다. 즉 X layer에서 Y layer로 신호가 전파될 경우에 X layer의 유닛은 입력 유닛이 되고 Y layer의 유닛은 출력 유닛이 됩니다. 반대로 Y layer에서 X layer로 전파될 경우에는 그 역할이 정반대가 됩니다.
3. 헵(Hebb) 학습 규칙과 양방향 순환 수렴 알고리즘
BAM의 가중치 행렬은 헵의 상관 학습 규칙(Correlation Learning Rule)을 바탕으로, 연관시키고자 하는 패턴 쌍 (X^{(k)}, Y^{(k)})들의 외적(Outer Product)을 단순 합산하여 단번에 결정됩니다:
⚡ 가중치 행렬 수식:
W = ∑_{k=1}^M (X^{(k)})ᵀ Y^{(k)}
여기서 M은 저장할 패턴 쌍의 수이며, 각 성분 w_{ij} = ∑ x_i^{(k)} y_j^{(k)}로 계산됩니다.
🔄 2단계 왕복 갱신 사이클 (Two-Step Iterative Recall)
미지의 패턴이나 잡음이 섞인 입력 X(0)가 제시되었을 때의 수렴 과정:
- 순방향 전달: Y(t) = sgn(X(t) W) (X로부터 Y 패턴 예측)
- 역방향 피드백: X(t+1) = sgn(Y(t) Wᵀ) (Y로부터 정제된 X 패턴 재추론)
- 상태 비교: X(t+1) = X(t) 및 Y(t+1) = Y(t)일 때까지 1~2단계를 반복하며 양방향 공명 상태로 수렴.
4. 이종 연상 (Heteroassociation) 과 랴푸노프 에너지 안정성
🌐 랴푸노프 에너지 함수 (Lyapunov Energy Function)
코스코(Bart Kosko) 교수는 BAM의 안정성을 증명하기 위해 다음과 같은 쌍선형 에너지 함수를 정의했습니다:
E(X, Y) = -X W Yᵀ = -∑∑ xᵢ w_{ij} y_j
X 층이나 Y 층의 뉴런이 부호 함수 규칙에 따라 상태를 갱신할 때마다 에너지 변화량 ΔE는 항상 음수이거나 0(ΔE ≤ 0)입니다. 시스템의 상태 공간은 유한하므로, 에너지는 무한히 낮아지지 않고 에너지 표면의 국소 최소점(Local Minima)에서 반드시 수렴을 멈춥니다.
이러한 확고한 수학적 안정성 덕분에 BAM은 노이즈가 심한 환경에서도 왜곡되지 않은 완전한 원본 쌍을 신뢰성 있게 복원해낼 수 있습니다. ...... (NUS 싱가포르 국립대 자료)
5. 관련 용어 (Terms), 사이트 (Sites) 및 주요 연구 문헌 (References)
🏷️ 관련 용어 (Terms)
📄 주요 연구 문헌 (Papers)
- Kosko, Bart (1988), "Bidirectional associative memories," IEEE Transactions on Systems, Man, and Cybernetics, 18(1), pp. 49-60.
- Kosko, Bart (1987), "Adaptive bidirectional associative memories," Applied Optics, 26(23), pp. 4947-4960.
🌐 관련 사이트 (Sites)
- Bidirectional Associative Memory : Neural Networks at your Fingertips
- Bidirectional Associative Memory Source & Theory : National University of Singapore (NUS)
- Bart A. Kosko Professor Homepage : University of Southern California (USC)