深度学习基础--不同网络种类--尖峰神经网络/脉冲神经网络(spiking neural network, snn)

尖峰神经网络/脉冲神经网络(spiking neural network, snn)

  是三代神经网络模型，属于计算神经科学，动物的神经网络大多是脉冲神经网络。
  资料不多，而且大多是外文

  本来想用它处理音频事件的，看了一段时间后发现，就目前而且，它好像不太适合处理音频这样的时序信号，更适合处理图像。所以大多论文也是把音频转化为图像信息后，进行图像处理，然后再转回到音频。
  不过，现在还是CNN更实用，SNN是未来趋势。
  想拿这个找工作，那你就是想多了。第二代神经网络才是目前工业界的主流。SNN这种第三代网络，目前更多的是活跃在学术界。SNN充满前景，但是目前还不是主流。

名词解释

  除了神经元和突触的状态，SNNS也结合时间的概念到他们的运作模式。这个想法是SNN 中的神经元不会在每个传播周期中发射（就像在典型的多层感知器网络中发生的那样），而是仅在膜电位 - 与其膜电荷有关的神经元的内在质量 - 达到特定值。当一个神经元发生火灾时，它会产生一个信号传播到其他神经元，然后根据这个信号增加或减少它们的电位。
  由于脉冲神经网络传递的是一个个脉冲，它们组成了一个脉冲序列，单个脉冲之间的时间间隔不一定，脉冲序列中蕴含了temporal information，这是传统的人工神经网络所不能表达的。 除此之外，脉冲神经网络中的每个神经元只有接收到一个脉冲时，才需要进行计算，功耗更低，计算更快；而传统人工神经网络需要一层层的计算，计算量要大很多。
  时间编码表明单个尖峰神经元可以代替S形神经网络上的数百个隐藏单元。

  另外，用随机脉冲而非模拟数值可以被看做 dropout 在神经系统中的实现形式。这个论点基于统计，即大脑中的参数量非常大(10^14)，相比之下可用的训练数据量则很少。训练一个远大于数据的模型要避免过拟合。其中一个方法是 dropout：在每次训练时随机忽略一些单元。这样就可以实现参数的正则化（regularization）。