Spiking Deep Residual Network阅读笔记

Spiking Deep Residual Network

1. 摘要

近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了解决转化过程中的问题，文章提出了shotcut归一化机制来缩减连续的激活值，使之近似匹配SNN中的脉冲发放率；还提出一种逐层误差补偿方法来减少由离散导致的误差。在MNIST, CIFAR-10, 和CIFAR-100上做了实验，是目前SNN中性能最好的。

3.1 转换概述

如图，展示了转换ResNet到SpikingResNet的机制。通过假定Relu单元可以近似脉冲神经元的发放率，文章用IF神经元代替Relu。输入方式是图片输入，第一层卷积之后根据是否大于阈值判断输出脉冲。训好的权重先进行归一化，再根据BN缩减（论文中的2式）使用。

3.2 shotcut标准化

我们先考虑一个基本的残差单元，

让max1,max2,max3分别表示relu1，relu2和relu3中的最大激活值，relu1后输入x，则输出表示为

为了保持单元最大脉冲发放率，文章通过block的最大激活值来标准化block的输出：

根据权重正规化，输入，权重，偏差均重新调整x’=1/(max1)x，w1’=(max1/max2)*w1，b1’=(1/max2)*b1，w2’=(max2/max3)*w2，b2’=(1/max3)*b2。我们假设shotcut也必须根据堆叠层中的规范化按照参数进行缩放，所的以上面表示输出的公式变为：

故得到残差网中的shoucut应该被标准化为

3.3 采样误差的惩罚

在从ANN转到SNN过程中，每一层都要接收上一层采样误差的加权和，并且随着深度增加而不断累积。这种情况是由于抽样误差的离散性和传输性造成的。网络越深，累积的采样误差会减少脉冲发放率从而降低SNN性能。为了解决这个问题，文章给每一层适当的增加了权重来减小采样误差，引入惩罚因子(大于1)在采样过程中，增加脉冲发放率。

4.实验结果

文章的实验结果证明了shoucut标准化还有惩罚采样均提升了性能。网络越深，惩罚采样提升的性能越高。
最后作者认为，残差网是和生物神经网络相关的，所以残差网本身就是具有优势的。