1. 논문 정보

  • Title: Surrogate Gradient Learning in Spiking Neural Networks
  • Authors: Emre O Neftci et al.
  • Year: 2019

2. 한 줄 요약 ⭐

Self-Attention만으로 sequence modeling을 수행하는 구조 제안

3. Problem

  • RNN은 병렬화 어려움
  • long-range dependency 문제

4. Key Idea ⭐

  • Self-Attention으로 전체 sequence 관계 계산
  • recurrence 제거

5. Method

  • Encoder / Decoder 구조
  • Multi-head attention
  • positional encoding

6. Results

  • BLEU score 향상
  • 학습 속도 개선

7. Insight ⭐⭐⭐ (가장 중요)

  • Attention만으로도 충분한 이유는?
  • 구조 단순화 vs 성능 trade-off
  • 내 연구(SNN)에 적용 가능성?

8. 한계

  • 계산량 O(n^2)
  • 긴 sequence에서 비용 증가