脉冲神经网络基础性知识
1、兴奋性突触与抑制性突触的作用是分别是神经元细胞膜电位的增加与减少。
2、现在流行的人工神经网络所使用的神经元模型（例如ReLU）都是第二代神经元模型。它们主要用于处理模拟数值
3、脉冲神经网络使用的第三代神经元模型，第三代神经元的构建是受生物真实性的启发，它能处理基于脉冲处理的信号
4、脉冲神经网络的两个优势：1、计算效率高。2、具有更强的生物真实性
5、脉冲神经元因其本身具有时间的属性，所以更适合处理有关时序的输入信息
6、脉冲神经元相对复杂，针对输入，它们能提供复杂的非线性映射，从理论上分析，针对一个复杂的任务，一个小型的网络就能解决该任务。
7、神经元模型中的参数 τm τ m 表示的是膜时间常数，它与膜电压的衰减有关， τm τ m 越大，膜电压 Vm(t) V m ( t ) 衰减的速度越慢
8、从概念和计算的角度来看，与其他尖峰神经元模型相比，LIF模型相对简单，所以采用最广泛。同时LIF模型有个优点就是该模型很容易通过硬件实现，而且运行速度很快。
9、SRM（Spike Response Model）是LIF模型的一个推广，它在神经元动力学中使用了核方法。
10、Hodgkin-Huxley(HH)模型是根据在乌贼身上的大量实验结果所构建的。它是迄今为止最详细和最复杂的神经元模型，然而，该神经元模型的需要很大的计算量，因此该模型不适用于大型网络的仿真。
11、Izhikevich（IM）模型可以通过在神经元动力学方程中设置不同的参数，使神经元具有不同的功能（例如连续激发一系列脉冲或只发射一个脉冲）
12、脉冲神经元本质上是为了处理和产生这种时空脉冲序列。
13、现在主流的认为神经元的编码方式有两种：1、速率编码（rate code）。2、时间编码（temporal code）
速率编码：在运动细胞中，支配肌肉的力量完全取决于“脉冲发放率”，可以简单理解成单位时间的脉冲发放数量。
时间编码：是基于单个脉冲的精准时间，可以理解成他们时刻关注着外部的刺激，一般该种细胞存在在听觉系统或听觉回路中。
神经元是使用速率编码还是时间编码是神经科学界争论激烈的话题，甚至这些术语都没有明确的定义。
14、当你使用速率编码时，你就默认了信息是包含在脉冲的发放频率当中。当使用脉冲编码，我们关注的对象就应该是脉冲发放率，而不是特定的脉冲序列。
脉冲的发放频率有两个解读方法:1、统计。2、概率。
15、在大多数感觉系统中，随着刺激强度的增加，发射率通常呈非线性增长[3]。
16、当采用速率编码时，任何可能编码在脉冲序列中精确信息都会被忽略。即采用速率编码就会自动丢失准确时间编码的信息。
17、频率编码的效率不高，但具有很强的抗噪声能力。
18、有关“firing rate”的定义有几种，主要是平平均的过程不同，一种定义为根据一段时间来取平均，另一种是几次实验的平均值。对于速率编码方案中的大多数情况，它考虑编码窗口内的尖峰计数。
19、许多研究发现，神经编码的时间分辨率是毫秒级的，这表明精准时间编码在神经元编码中存在，而且十分重要。
20、在视网膜[15，16]，外侧膝状核(LGN)[17]和视皮层[14，18]以及许多其他感觉系统[19，20]中，观察到神经元在毫秒尺度上精确地对刺激作出反应。这个发现有力的支持时间编码的方式。
21、采用基于时间编码，可以更高效的信息进行表示，同时速度更快（例如神经元可以对特定位置的脉冲作出响应）
22、temporal code编码方式细分有几种：
1、latency code：延迟码是一种特定形式的时间编码，即编码信息在时间上相对于编码窗口长度，这通常是与刺激的发生时间有关。
2、interspike intervals code ：这种编码是通过两个脉冲之间的相对时间来表示编码信息。
3、phase of fireing code：难以描述，之后补充
23、相比速率编码，采用时间编码能携带更多的信息，同时具有更强的生物真实性和计算效率。
24、基于精确时间编码的学习算法：spike-time-dependent plasticity（STDP），Tempotron rule，SpikeProp rule ,SPAN rule, Chronotron rule ,ReSuMe relu
25、STDP是今年来最常使用的学习算法，它是基于Hebbs理论
26、Tempotron rule 算法只能学习神经元是否产生脉冲，不能是神经元发放脉冲的精准时间，所以该算法不能支持输入和输出峰值中使用的相同的编码方案（因为脉冲输出时间没法确定），基于Tempotron的改进型算法PSD，可以学习到神经元产生脉冲的精准时间。
27、SpikeProp rule可以训练神经元在特定时间产生单个脉冲用于进行时空分类。该算法是一种基于梯度的监督学习算法。该算法的主要缺点是它的输出神经元只能发放一个脉冲，不能产生多个脉冲
28、为了解决SpikeProp输出只能发放一个脉冲的问题，提出Chronotron rule、ReSuMe relu，他们的输出可以是多个脉冲。
29、SPAN relu和Chronotron E-learning relu的权重更新都是基于误差梯度。他们之间的误差梯度有所不同。但这这些基于梯度（数学）所设计的学习算法不具备生物真实性。