스파이킹 신경망(SNN) 최신 연구동향 및
기술적 패러다임 심층 인포그래픽 보고서

2.1. 대리 기울기(Surrogate Gradient) 기반 직접 학습

대리 기울기(Surrogate Gradient, SG) 기법은 순전파(Forward Pass) 시 실제 이산적인 계단 함수를 적용하여 이진 스파이크를 발생시키고, 역전파(Backward Pass) 시에는 연속적이고 미분 가능한 완만한 형태의 대리 함수를 적용하여 시간 경과에 따른 역전파(Backpropagation Through Time, BPTT)를 수행하는 표준 학습 프레임워크로 자리 잡았다. 전통적으로 사용되던 ArcTan, Sigmoid, Hyperbolic Tangent 기반 고정 도함수는 실제 계단 함수와의 형태적 불일치(Gradient Mismatch)로 인해 심층 네트워크에서 기울기 소실 또는 폭주를 유발하는 한계가 존재했다.

이러한 문제를 완화하기 위해 최근 연구는 역전파 과정에서 대리 함수의 유효 대역폭과 기울기 형상을 동적으로 최적화하는 학습 가능 대리 기울기(Learnable Surrogate Gradient, LSG) 및 Differentiable Spike(Dspike) 메커니즘을 적극 도입하고 있다. 이와 동시에 대리 기울기 도입으로 인해 순전파 과정에서 유지되던 시냅스 활성의 희소성이 역전파 도중 파괴되는 문제를 방지하기 위해 특정 뉴런의 기울기 경로를 확률적으로 차단하는 마스크 기반 대리 기울기(Masked Surrogate Gradient, MSG) 기법이 제안되었다. 한편, 시간 축 전개(T)로 인해 BPTT가 요구하는 O(T) 메모리 복잡도 문제를 해소하기 위하여, 전체 시퀀스를 메모리에 유지하지 않고 시간의 흐름에 따라 순방향으로 기울기를 누적·전파하는 시간 축 온라인 훈련(Online Training Through Time, OTTT)과 같은 순방향 모드 근사 기법이 활발히 연구되고 있다.

2.2. 초저지연 ANN-to-SNN 변환 기법

ANN-to-SNN 변환은 사전 학습된 고성능 인공신경망의 가중치를 동일한 구조의 SNN으로 전이하는 방식으로, ImageNet과 같은 대규모 벤치마크에서 최고 수준의 정확도를 신속하게 확보할 수 있는 검증된 방법론이다. 전통적 변환 기법은 연속적인 ReLU 활성화 값을 SNN 뉴런의 평균 발화율(Firing Rate)로 치환하는 발화율 코딩(Rate Coding)에 의존하였으나, 연속 활성화 값을 양자화된 스파이크 빈도로 충분히 표현하기 위해 T ≥ 100 ~ 200 이상의 긴 시뮬레이션 지연시간을 요구하여 SNN 본연의 에너지 절감 및 실시간 처리 이점을 희석시키는 구조적 문제가 있었다.

최근 변환 연구는 정보 손실을 억제하면서 시간 지연을 극단적으로 단축(T ≤ 4 ~ 8)하는 최적화 기법에 집중되고 있다. 대표적으로 StepReLU 및 Quantization Clip-Floor-Shift(QCFS)와 같이 훈련 단계에서부터 SNN의 이산적 막 전위 특성을 반영하도록 활성화를 양자화하여 변환 오차를 근본적으로 차단하는 기법이 도입되었다. 또한, 절대적인 발화율 대신 이전 시점 대비 발화율의 변화량만을 스파이크로 부호화하여 전송하는 미분 코딩(Differential Coding)과 부호가 있는 음의 스파이크(Negative Spikes) 메커니즘이 개발되어 적은 스파이크 횟수로도 높은 표현력을 유지할 수 있게 되었다. 여기에 뉴런 내부의 잔여 전압을 완전히 소멸시키지 않고 다음 계산으로 이월하는 리셋 메커니즘의 정밀화가 결합되면서 극저지연 환경에서도 ANN 대비 1% 미만의 정확도 손실만을 허용하는 변환이 가능해졌다.

2.3. 생체 모방 국소 학습(Local Learning Rules)과 온라인 가소성

역전파 기반 학습은 전역 손실 함수의 오차를 시냅스 역방향으로 전달해야 하므로 가중치 전송 문제(Weight Transport Problem)와 시점 역행 문제를 내포하고 있어 뉴로모픽 반도체 상의 온칩 실시간 학습(On-chip Online Learning)에 적용하기 어렵다. 이를 극복하기 위해 생물학적 시냅스 가소성에 기반한 국소 학습 규칙이 적극적으로 개발되고 있다. 시냅스 전·후 뉴런의 스파이크 방출 시차에 기반하여 연결 강도를 갱신하는 스파이크 타이밍 의존 가소성(Spike-Timing-Dependent Plasticity, STDP)은 비지도 특징 추출의 기초로 널리 활용되고 있다.

심층 네트워크로의 확장성을 확보하기 위해 국소적 시냅스 활성 흔적인 적격성 흔적(Eligibility Trace)과 뇌 전역으로 확산되는 신경조절물질 신호를 결합한 세 인자 학습 규칙(Three-factor Learning Rules) 및 적격성 전파(Eligibility Propagation, e-prop) 프레임워크가 부상하였다. e-prop은 시간 축 역전파 없이 순방향 스트리밍 환경에서 그래디언트를 온라인으로 계산할 수 있도록 수학적으로 근사하여 BPTT 대비 연산 메모리를 획기적으로 절감한다. 최근에는 신경세포 외에 성상세포(Astrocyte)의 느린 조절 메커니즘을 모사한 3자 시냅스 모델을 통해 스트리밍 데이터 환경에서 가소성-안정성 딜레마를 완화하고 재앙적 망각(Catastrophic Forgetting)을 억제하는 연속 학습(Continual Learning) 연구로 확장되고 있다.

3.1. 스파이크 구동형 어텐션 메커니즘의 진화

표준 트랜스포머의 핵심인 바닐라 셀프 어텐션(Vanilla Self-Attention, VSA)은 쿼리(Q)와 키(K)의 부동소수점 내적 연산 후 Softmax 함수를 통과시키고 이를 밸류(V)와 다시 곱하는 구조를 취한다. 이 과정은 지수 함수 연산과 연속적인 실수 행렬 곱셈을 수반하므로 연산 희소성을 활용하여 덧셈 중심의 연산을 지향하는 SNN의 하드웨어적 이점과 정면으로 배치된다.

이를 해결하기 위해 제안된 Spikformer의 스파이킹 셀프 어텐션(Spiking Self-Attention, SSA)은 Q, K, V를 모두 이진 스파이크 텐서로 변환하고 Softmax 정규화를 제거하였다. 이진 스파이크로 계산된 어텐션 맵은 음수 값을 갖지 않으므로 Softmax 없이도 무관한 특징을 억제할 수 있으며, 이로써 연산 순서를 재구성하여 시퀀스 길이에 따른 연산 복잡도를 선형 수준으로 완화하였다.

이후 제안된 Spike-driven Transformer는 부동소수점 곱셈을 배제하고 마스킹과 희소 덧셈(AC) 연산만으로 어텐션을 수행하는 Spike-Driven Self-Attention (SDSA)을 구축하였으며, 잔여 연결(Residual Connection) 구조를 재설계하여 전 계층에서 순수 이진 신호가 전파되도록 구성함으로써 ImageNet-1K 분류에서 77.1%의 정확도를 달성하였다. 나아가 Spike-driven Transformer V2 (Meta-SpikeFormer)는 이를 범용 메타 아키텍처로 확장하여 분류뿐만 아니라 COCO 객체 검출 및 ADE20K 시맨틱 분할까지 아우르며 ImageNet-1K 기준 80.0%의 톱-1(Top-1) 정확도를 기록하였다. 최근에는 완전 이진 스파이크 어텐션의 표현력 한계를 타개하기 위해 Q는 이진 스파이크, K는 ReLU 활성화, V는 3진 스파이크(Ternary Spike)를 활용하는 정확한 덧셈 전용 어텐션(A2OS2A) 구조가 제안되어 곱셈기를 전혀 사용하지 않고도 78.66%의 ImageNet 정확도를 확보하는 성과를 도출하였다.

3.2. 생성형 언어 모델 및 초거대 모델로의 확장

자연어 처리 및 생성 모델 분야에서도 SNN의 초저전력 특성을 활용하려는 구조적 확장이 가속화되고 있다. SpikeGPT는 트랜스포머의 2차 시간 복잡도를 배제하기 위해 선형 어텐션 기반 리커런트 메커니즘(RWKV 구조)을 SNN과 결합한 최초의 생성형 언어 모델이다. 2억 6천만 개(260M)의 매개변수 규모를 지닌 SpikeGPT는 표준 언어 생성 작업에서 동급 비스파이킹 모델과 대등한 텍스트 품질을 생성하면서도, 뉴로모픽 하드웨어 구동 기준 32.2배의 연산량 감축과 5배 이상의 에너지 절감 효과를 입증하였다.

더 나아가 70억 개(7B) 매개변수를 지닌 대형 언어 모델을 스파이킹 구조로 변환하는 SpikeLLM과 같은 시도가 이어지며 초거대 모델로의 스케일업 가능성이 타진되고 있다. 그러나 대규모 스파이킹 언어 모델의 완전한 정착을 위해서는 시퀀스 길이가 증가할 때 막 전위 리셋 기능을 훼손하지 않으면서도 시간 축을 병렬화할 수 있는 병렬 스파이킹 뉴런(Parallel Spiking Neuron) 설계와, 자가 지도 학습(Self-Supervised Learning) 기반의 사전 학습 안정화 기법이 지속적으로 해결되어야 할 핵심 과제로 남아있다.

소프트웨어 프레임워크 및 중간 표현 표준화 (NIR)

SpikingJelly와 snnTorch가 PyTorch 스타일의 모듈식 API를 제공하여 연구 진입 장벽을 대폭 낮추었다. 특히 컴파일러 및 시스템 배포 계층에서는 딥러닝의 ONNX에 해당하는 뉴로모픽 중간 표현형(Neuromorphic Intermediate Representation, NIR)이 정립되었다. NIR은 SpikingJelly, Lava, snnTorch, Norse 등 다양한 프레임워크에서 정의된 하이브리드 연속-이산 동역학 모델을 공통 미분 방정식 형태로 직렬화하여, 코드 재작성 없이 Loihi 2, SpiNNaker 2, SynSense 프로세서 또는 FPGA 가속기로 직접 번역 및 배포할 수 있는 강력한 상호운용성을 제공한다.