전통적인 기계학습 모델은 대부분 데이터 포인트들이 서로 독립적이고 동일한 분포를 따른다는 독립항등분포(I.I.D. : Independent and Identically Distributed) 가정에 기반합니다. 그러나 현실 세계의 데이터(주가 변동, 환자 맥박, 인간 언어, 사용자 행동)는 시간적 순서(Temporal Order)와 인과적 연결성을 가지므로, 순서(Sequence)를 무시한 채 셔플링(Shuffle)하면 치명적인 정보 손실과 오류가 발생합니다.
🔗 1) 시간적 의존성 (Temporal Dependency)
현재 시점(t)의 상태는 반드시 과거 시점들(t-1, t-2, ...)의 누적된 이력에 종속됩니다. 순서를 고려하지 않고 데이터셋을 무작위로 섞으면 사건들 간의 선후 인과관계가 파괴되어 모델이 허위 상관관계(Spurious Correlation)를 학습하게 됩니다.
🏹 2) 시간의 화살과 데이터 누수 (Look-ahead Leakage)
물리적 세계에서 시간은 오직 과거에서 미래로만 흐릅니다. AI 모델 훈련 시 미래의 데이터(t+1)가 과거의 예측에 주입되는 미래 참조 누수(Data Leakage / Peeking)를 방지하려면, 철저하게 인과적 마스킹(Causal Masking)과 시계열 분할(Time-series Split)을 준수해야 합니다.
📖 3) 문맥적 상호작용 (Contextual Meaning)
자연어나 유전자 서열에서 구성 요소들은 순서에 따라 완전히 상반된 의미를 가집니다. 예컨대 "A가 B를 이겼다"와 "B가 A를 이겼다"는 단어 집합(Bag of Words)이 완전히 동일하지만, 순서 정보에 의해 정반대의 진실을 표현합니다.
🧠 4) 장기 의존성 (Long-term Dependencies)
수일 전 발생한 금리 변동이 오늘날의 주가 폭락을 유발하거나, 수백 페이지 전에 등장한 인물이 소설의 결말을 짓는 것처럼, 수십~수만 단계 이전의 이벤트가 현재에 미치는 누적 기억(Cumulative History)을 보존하는 능력이 AI의 지능을 결정합니다.
순서형 데이터는 다양한 산업과 도메인에 걸쳐 고유한 특성을 가집니다. 데이터의 성격(연속형 vs 이산형, 등간격 vs 비등간격)에 맞추어 적절한 수학적 전처리와 피처 엔지니어링을 적용해야 합니다.
| 시퀀스 데이터 유형 | 도메인 특성 | 핵심 난제 | 전처리 및 다루는 핵심 기법 |
|---|---|---|---|
| 1. 금융 및 주식 시계열 (Stock & Finance) |
연속적 시간 간격의 수치 시계열 (OHLCV, 환율, 금리) | 극심한 노이즈, 비정상성(Non-stationarity), 체제 전환 |
• 차분(Differencing) & 로그 수익률 변환 (정상성 확보) • 롤링 윈도우 (Sliding Window) 시퀀스 분할 • 결측치 전방 보간(Forward Fill) 및 표준화(Z-score) |
| 2. 자연어 텍스트 (NLP & Text Tokens) |
단어 및 문맥의 1차원 이산형 기호 시퀀스 | 가변 길이(Variable Length), 다의어 및 장기 문맥 |
• 서브워드 토큰화 (BPE, WordPiece, SentencePiece) • 패딩(Padding) & 어텐션 마스킹(Attention Mask) • 포지셔널 인코딩 (Sinusoidal, RoPE: 회전 위치 임베딩) |
| 3. 생체 분자 서열 (DNA / RNA / Protein) |
4대 염기(A, C, G, T) 및 20개 아미노산의 초장거리 서열 | 수만~수십만 토큰 길이, 3차원 입체 접힘과의 연결 |
• k-mer 토큰화 (염기 서열을 k개 단위로 분할) • 다중 서열 정렬 (MSA: Multiple Sequence Alignment) • 잔기 간 진화적 공분산 행렬 생성 (AlphaFold 방식) |
| 4. 음성 및 오디오 파형 (Audio & Speech) |
초당 16,000~44,100개의 초고해상도 아날로그 연속 진폭 | 초고주파수 연산 부하, 위상 및 주파수 혼재 |
• 단시간 푸리에 변환 (STFT) • 멜 스펙트로그램 (Mel-Spectrogram) 2D 변환 • 프레임 윈도잉(Hann Window) 및 노이즈 필터링 |
| 5. 사용자 행동 로그 (Clickstream & Session) |
타임스탬프 기반 비등간격 이벤트 트랜잭션 | 희소성(Sparsity), 사용자 간 행동 속도 편차 |
• 세션화 (Sessionization) (비활성 30분 기준 세션 분할) • 시간 간격(Delta-t) 임베딩 • 다음 행동 예측(Next-Basket / Next-Item) 포맷 변환 |
전통적인 통계적 순차 마이닝부터 순환 신경망(RNN, LSTM), 병렬 연산의 혁명을 가져온 트랜스포머(Transformer), 그리고 최근 선형 시간 복잡도로 급부상한 상태 공간 모델(SSM, Mamba)에 이르기까지 AI 시퀀스 모델의 계보를 상세히 살펴봅니다.
📜 1) 마르코프 모델 & 순차 패턴 마이닝
Markov Chain, HMM, PrefixSpan, GSP
딥러닝 이전 시퀀스 분석을 지배한 통계적 기법입니다.
- 마르코프 연쇄 (Markov Chain): "다음 상태는 오직 직전 상태에만 의존한다"는 가정 하에 전이 확률 행렬(Transition Matrix)을 모델링합니다.
- 은닉 마르코프 모델 (HMM): 관측 가능한 출력 뒤에 숨겨진 은닉 상태(Hidden States)를 비터비(Viterbi) 알고리즘으로 추론 (음성 인식, 품사 태깅의 효시).
- PrefixSpan / GSP: 데이터베이스 내에서 최소 지지도(Min Support)를 만족하는 빈발 시퀀스 패턴을 분할 정복 방식으로 마이닝.
🔁 2) 순환 신경망 계열 (Vanilla RNN)
Recurrent Neural Networks
이전 시점의 은닉 상태(Hidden State)를 루프 구조를 통해 다음 시점으로 전달하며 시퀀스를 순차 처리합니다.
- 한계점: 시간 역전파(BPTT) 수행 시 활성화 함수의 도함수가 반복 곱해지면서 기울기 소실(Vanishing Gradient) 또는 폭주(Exploding)가 발생하여 10~20단계 이상의 장기 기억이 불가능함.
🛡️ 3) 게이트 기반 순환 모델 (LSTM & GRU)
Long Short-Term Memory & Gated Recurrent Unit
기울기 소실 문제를 극복하기 위해 정보를 보존/삭제하는 게이트(Gate) 메커니즘을 도입했습니다.
- LSTM (Hochreiter & Schmidhuber, 1997): 별도의 고속도로 역할을 하는 셀 상태(Cell State, Ct)를 유지하고, 망각 게이트(Forget Gate), 입력 게이트(Input Gate), 출력 게이트(Output Gate)로 장기 기억을 통제합니다.
- GRU (Cho et al., 2014): 셀 상태와 은닉 상태를 통합하고 리셋 게이트(Reset)와 업데이트 게이트(Update) 2개로 단순화하여 LSTM 대비 파라미터 수를 25% 절감하면서 동등한 성능 발휘.
⏱️ 4) 시간 합성곱 신경망 (TCN)
Temporal Convolutional Networks
순차적 루프 대신 1차원 합성곱(1D CNN)을 시계열에 적용하여 병렬 처리를 구현한 모델입니다.
- 인과적 합성곱 (Causal Convolution): t 시점의 필터가 오직 t 및 과거 시점의 데이터만 참조하여 미래 정보 누수를 원천 차단합니다.
- 확장 합성곱 (Dilated Convolution): 필터의 간격을 1, 2, 4, 8... 지수적으로 띄워 파라미터 증가 없이 수용 영역(Receptive Field)을 수천 스텝으로 확장합니다.
⚡ 5) 트랜스포머 (Transformer : Attention Is All You Need)
Self-Attention & Modern Large Language Models (LLM)
2017년 구글이 제안한 혁명적 아키텍처로, 순환(Recurrence)을 완전히 제거하고 셀프 어텐션(Self-Attention) 메커니즘만으로 시퀀스를 병렬 처리합니다.
- O(1) 경로 길이: 시퀀스 내의 어떤 위치에 있는 토큰이든 단 한 번의 행렬 곱으로 직접 상호작용하므로 거리에 따른 정보 소실이 원천적으로 없습니다.
- 포지셔널 인코딩 (Positional Encoding): 순환 구조가 없으므로 삼각함수(Sinusoidal) 또는 회전 위치 임베딩(RoPE)을 통해 토큰의 상대적/절대적 위치 정보를 주입합니다.
- 생태계 정복: 오늘날의 GPT, LLaMA, BERT, AlphaFold 등 모든 최첨단 초거대 AI 모델의 뼈대가 되었습니다.
🚀 6) 차세대 선형 시퀀스 모델: 상태 공간 모델 (SSM & Mamba)
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
트랜스포머의 최대 치명타인 시퀀스 길이에 따른 2차 계산 복잡도 O(N2)와 거대한 KV 캐시 메모리 부담을 극복하기 위해 등장한 획기적인 차세대 아키텍처입니다 (Gu & Dao, 2023).
- 선택적 상태 공간 (Selective State Space): 입력 데이터의 중요도에 따라 은닉 파라미터(A, B, C)를 동적으로 조절하여 불필요한 노이즈를 필터링하고 영구 기억을 유지합니다.
- 선형 시간 복잡도 O(N): 시퀀스 길이가 10만, 100만 토큰으로 길어져도 연산량과 메모리가 선형적으로만 증가하여 극도의 연산 효율을 달성합니다.
- 병렬 학습과 초고속 추론의 융합: 훈련 시에는 합성곱 모드로 GPU 병렬 처리를 수행하고, 추론 시에는 RNN처럼 단일 상태를 갱신하여 초저지연 토큰 생성을 구현합니다.
순환 신경망(RNN), 장단기 메모리(LSTM), 어텐션 트랜스포머(Transformer), 그리고 차세대 선형 시퀀스 모델 맘바(Mamba)의 수학적 원리와 직관을 시각적으로 학습할 수 있는 최고 권위의 영상 자료입니다.