AAAI2024论文解读|Memory-Efficient Reversible Spiking Neural Networks-water-merged

论文标题

Memory-Efficient Reversible Spiking Neural Networks 内存高效可逆脉冲神经网络

论文链接

Memory-Efficient Reversible Spiking Neural Networks论文下载

论文作者

Hong Zhang, Yu Zhang

内容简介

本文提出了一种可逆脉冲神经网络（RevSNN），旨在降低脉冲神经网络（SNNs）在训练过程中对中间激活和膜电位的内存需求。传统的SNN在训练时需要展开多个时间步，导致其内存消耗显著高于人工神经网络（ANNs），这限制了更深层SNN模型的训练。为了解决这一问题，作者扩展了可逆架构，并提出了可逆脉冲块，能够通过反向过程重建计算图并重新计算所有中间变量。通过在CIFAR10和CIFAR100数据集上的实验，RevSResNet和RevSFormer模型在保持相似模型复杂度和参数的情况下，分别在每张图像上消耗了3.79倍和3.00倍更少的GPU内存。该研究为训练极大规模和深度的SNNs铺平了道路。

分点关键点

1. 可逆脉冲神经网络架构
   • 本文提出的可逆脉冲神经网络通过引入可逆脉冲块，允许在训练过程中不存储中间变量，而是通过输出重建这些变量。这种方法显著降低了内存消耗，使得网络深度与内存使用之间的关系不再线性。

2. RevSResNet和RevSFormer模型

   • 研究中将最先进的SNN模型（如ResNet和Transformer）转化为可逆版本，分别命名为RevSResNet和RevSFormer。实验结果表明，这些模型在静态和神经形态数据集上表现出与其不可逆对应模型相当的准确性，同时显著降低了内存使用。

3. 内存效率的提升

   • RevSResNet和RevSFormer在训练过程中，每张图像的内存消耗分别比其对应的非可逆模型低3.79倍和3.00倍。这一成果表明可逆架构在SNN训练中的有效性，能够支持更深层次的网络结构。
     

4. 可逆性与训练效率

   • 通过分析SNN在空间和时间维度上的可逆性，本文提出的可逆脉冲块能够在不增加内存消耗的情况下，支持更高效的训练过程。这为未来的深度学习模型设计提供了新的思路。

论文代码

代码链接：https://github.com/mi804/RevSNN.git

AAAI2024论文合集：

AAAI2024论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！

中文关键词

1. 脉冲神经网络
2. 可逆架构
3. 内存效率
4. 深度学习
5. 训练优化
6. 神经形态硬件