脉冲神经网络

脉冲神经网络 （SNN-Spiking Neuron Networks) 经常被誉为第三代人工神经网络。旨在弥合神经科学和机器学习之间的差距，使用最拟合生物神经元机制的模型来进行计算。

第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数据。

第二代神经网络包括比较广泛，包括应用较多的 BP神经网络 。

但是从本质来讲，这些神经网络都是基于神经脉冲的频率进行编码( rate coded）。

传统的人工神经元模型主要包含两个功能，一是对前一层神经元传递的信号计算加权和，二是采用一个非线性激活函数输出信号。 前者用于模仿生物神经元之间传递信息的方式，后者用来提高神经网络的非线性计算能力。

相比于人工神经元，脉冲神经元则从神经科学的角度出发，对真实的生物神经元进行建模。

脉冲神经网络，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。第二代神经网络模型中难以加入时间。

思路是这样的，动态神经网络中的 神经元 不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的 膜电位 达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。

在脉冲神经网络中，神经元的当前激活水平（被建模成某种微分方程）通常被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段时间，然后逐渐衰退。出现了很多编码方式把这些输出脉冲序列解释为一个实际的数字，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。

脉冲并不是在神经元之间直接传播的，它需要在突触间隙间交换一种叫“神经递质”的化学物质。

脉冲神经网络大体上可以和传统的人工神经网络一样被用在信息处理中，而且脉冲神经网络可以对一个虚拟昆虫寻找食物的问题建模，而不需要环境的先验知识。

脉冲耦合神经网络(PCNN)可以看做是脉冲神经网络(SNN)的一种。

SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来，其中最重要的是神经元的膜电位。本质上，一旦神经元达到了某一电位，脉冲就会出现，随后达到电位的神经元会被重置。对此，最常见的模型是 Integrate-And-Fire（LIF）模型。此外，SNN 通常是稀疏连接的，并会利用特殊的网络拓扑。

脉冲神经网络图示

乍一看，脉冲神经网络的方法像是一种倒退。我们从连续输出移动至二进制输出，这些脉冲训练的可解释性不强。但是，脉冲训练增强了我们处理时空数据（或者说真实世界感官数据）的能力。空间指神经元仅与附近的神经元连接，这样它们可以分别处理输入块（类似于 CNN 使用滤波器）。时间指脉冲训练随着时间而发生，这样我们在二进制编码中丢失的信息可以在脉冲的时间信息中重新获取。这允许我们自然地处理时间数据，无需 RNN 添加额外的复杂度。事实证明脉冲神经元是比传统人工神经元更强大的计算单元。

理论上 SNN 比第二代网络更强大，那为什么没有得到广泛应用。主要问题在于 SNN 的训练。尽管有无监督生物学习方法，如赫布学习（Hebbian learning）和 STDP，但没有适合 SNN 的有效监督训练方法能够 i 通过提供优于第二代网络的性能。由于脉冲训练不可微，我们无法在不损失准确时间信息的前提下使用梯度下降来训练 SNN。因此，为了正确地使用 SNN 解决真实世界任务，我们需要开发一种高效的监督学习方法。这是一项艰巨的任务，因为它涉及到，给定这些网络的生物现实主义，确定人类大脑如何学习。

另一个问题是在正常硬件上模拟 SNN 需要耗费大量算力，因为它需要模拟微分方程。但是，神经形态硬件，如 IBM TrueNorth，旨在使用利用神经元脉冲行为的离散和稀疏本质的专门硬件模拟神经元，进而解决该问题。

dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。

转载自https://blog.csdn.net/stdcoutzyx/article/details/49022443

传 统 神 经 网 络 与 脉 冲 神 经 网 络 之 间 的 性 能 比 较 研 究

硕士论文https://wenku.baidu.com/view/58ca281fdc36a32d7375a417866fb84ae45cc3e5.html