3.2神经元模型

生物神经元的结构

神经元是大脑组织的基本单元，是神经系统结构与功能的单位。不同的神经元形态不同，功能也有差异，其共性的结构简化如下：

• 细胞体：神经元主体，由细胞核、细胞质、细胞膜等组成，细胞膜对细胞液中的不同离子通透性不同，使得产生离子浓度差，从而出现内负外正的静息电位
• 树突：通过树突接受来自其他神经元的输入信号
• 轴突：传出细胞体产生的输出电化学信号
• 突触：神经元间通过一个的轴突末梢和其他神经元的细胞体或者树突进行通信连接，相当于神经元之间的输入输出接口
  

生物神经元的功能

突触是神经元的输入和输出接口；树突和细胞体作为输入端，接收突出点的输入信号；细胞体相当于一个处理器，对各树突和细胞体各部位收到的来自其他神经元的输入信号进行组合，并在一定条件下触发，产生一个输出信号，输出信号沿轴突传至末梢；轴突末梢作为输出端通过突触将这以输出信号传向其他神经元。

生物神经元信息处理机制

生物神经元的信息的产生、传递和处理是一种电化学活动，其机制为：

• 信息产生：在某一给定时刻，神经元总是处于静息、兴奋和抑制三种状态之一。在外界的刺激下，当神经元的兴奋程度大于某个阈电位时，神经元被激发而发出神经脉冲。
• 传递与接收：神经脉冲信号沿轴突传向其末端的各个分支，通过突触完成传递与接收。突触有兴奋性突触和抑制性性突触两种，当兴奋性突触的电位超过某个阈电位时，后一个神经元就有神经脉冲输出，从而把前一个神经元的信息传递给了后一个神经元。
• 信息整合：接收各个轴突传来的脉冲输入，根据输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同。在同一时刻产生的刺激所引起的电位变化大致等于各单独刺激引起的电位变化的代数和。神经元对空间和时间上对输入进行积累和整合加工，从而决定输出的时机和强弱。
• 生物神经网络：由多个生物神经元以确定方式和拓扑结构互相连接即形成生物神经网络，是一种更为灵巧、复杂的生物信息处理系统，在宏观上呈现出复杂的信息处理能力。

M一P模型

1943年心理学家 McCulloch 和数学家 Walter Pitts 基于生物神经元的特点，提出了M-P模型。这个模型是对生物神经元信息处理过程进行了简化和概括，模拟了生物神经元的工作原理。

• 每个神经元都是多输入单输出的信息处理单元
• 神经元的输入分为兴奋性输入和抑制性输入两种类型
• 神经元具有空间整合特性和阈值特性
• 神经元输入与输出间有固定的时间延迟
• 通常我们会忽略时间整合作用，忽略兴奋期后的不应期
  
  M-P模型是把神经元视为二值开关元件，按照不同方式组合来完成各种逻辑运算。它能够构成逻辑与、非、或运算，理论上可以进而组成任意复杂的逻辑关系。若将M一P模型按一定方式组织起来，可以构成具有逻辑功能的神经网络。
  
  $x_1{w}_{1j}+...+x_i{w}_{ij}+...+x_n{w}_{nj}=ne{t}_j={\sum }_{i=1}^n{x}_i{w}_{ij}$
  或者记为$ne{t}_j=W_j^{T}X$
  其中$W_j=(w_{1j},w_{2j},...,w_{nj}{)}^T,X=(x_1,x_2,...,x_n{)}^T$
  输出$o_j=f(ne{t}_j-T_j)=f({\sum }_{i=1}^n{x}_i{w}_{ij}-T_j)$
  例：设阈值为$T_j$，激活函数为 sign() 函数，有$o_j=f(ne{t}_j-T_j)$，即当$ne{t}_j>T_j$时输出$o_j=1$，其他情况输出$o_j=0$

激活函数

激活函数(Activation Function)：也叫连接函数、传递函数、变换函数或者激励函数。用来模拟神经元输出与其激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为抑制态。不同的激活函数，使神经元具有不同的信息处理特性。对于神经网络来讲，激活函数的主要作用就是进行线性变换，增加系统的非线性表达能力。
常见的激活函数：

• Sign函数
• sigmoid函数
• Tanh函数
• Arctan函数