发布时间：2024-10-01

文章标题：基于多平行隐式流架构的脉冲神经网络高效训练方法，ECCV2024

内容：

    近日，西安交通大学类脑智能研究中心在第18届欧洲计算机视觉会议(European Conference on Computer Vision, ECCV 2024)上发表了一篇题为“Efficient Training of Spiking Neural Networks with Multi-Parallel Implicit Stream Architecture”的新研究。该工作提出了一种名为多平行隐式流脉冲神经网络架构（MPIS）以解决使用隐式微分方法训练脉冲神经网络的延迟高问题，该方法在静态数据集和神经形态数据集上都能够取得良好性能，具有低延迟、低功耗、低内存开销等特点。

   

研究亮点：脉冲神经网络（SNNs）因其能效和生物合理性方面的优势，被认为是下一代神经网络的重要发展方向。然而，SNNs面临着神经元不可微分、训练内存成本高、仿真延迟高等一系列问题，这些问题阻碍了SNNs的技术研发与应用。本文基于SNNs的平衡状态隐式微分方法提出了一种与仿真时间无关的常数级内存开销的SNNs训练方法，即多平行隐式流脉冲神经网络架构（MPIS），相比于基于随时间反向传播（BPTT）训练方法和传统隐式训练方法，MPIS具有更快的训练和推理速度以及更低的能量消耗。此外，本文从理论上推导了双界限线性整流单元（DBReLU）作为平衡状态的SNNs发放率计算函数的合理性，该激活函数能对神经元的发放率进行无偏估计。在Fashion-MNIST、CIFAR-10、CIFAR-100和N-MNIST等常用数据集上的实验表明，MPIS方法相比于BPTT方法能够极大地节省内存，并且具有更稀疏的脉冲发放；相比于标准的平衡状态隐式微分方法，MPIS在更少的时间步即可以达到更好的性能。

 

图1: 多平行隐式流脉冲神经网络架构（MPIS）