Paper Info

Field Content
Title Surrogate Gradient Learning in Spiking Neural Networks
Authors Emre Neftci, Hesham Mostafa, Friedemann Zenke
Venue IEEE Signal Processing Magazine
Year 2019
Link arxiv

One-line Summary

Spiking Neural Network의 미분불가능성으로 인한 학습의 한계를 Surrogate Gradient Learning을 사용해서 극복했다.

Problem Statement

Challenges in Training SNNs

  • RNN과의 유사성: temporal dependencies로 인한 최적화 문제 발생
  • binary한 출력: 미분이 불가능해 안정적 학습이 불가능
  • 얕은 층에서의 학습은 성공했지만, 은닉층이 있는 SNN 학습은 여전히 힘듦

    SNN in neuromorphic hardware

  • network model의 활용이 embedded 기기까지 확장되면서 전력효율의 중요성이 부상
  • neuromorphic hardware는 저전력이지만 binary한 neuron을 emulate함 즉, 기존의 network model을 사용하는 데에 한계가 있음
  • SNN은 neuromorphic에 특화되었으며, SNN의 층을 깊게 만드는 것(성능을 올리는 것)은 저전력 에플리케이션에 유리

    Objective of the Paper

  • hidden layer를 가진 SNN 훈련의 어려움을 논의하고, 이를 해결하기 위한 다양한 전략을 소개하려 함
    —

Key Idea

Understanding SNNs as RNNs

LIF(Leaky Integrate-and-Fire) neuron Model

  • 생물학적 뉴런에서 발생하는 temporal dynamic을 RC Circuit(Resistor-Capacitor Circuit)으로 모델링하여 미분방정식으로 나타낸 것

Methods

Overall Architecture

(figure description or simple diagram)

Key Equations

\[여기에 수식\]

Algorithm Summary

1. 2. 3.

Results

  • Dataset:
  • Baseline:
  • Key Results:

Thoughts / Questions

  • What’s interesting:
  • What I don’t understand yet:
  • Follow-up papers to read:

References

-