一般神经元模型

一般神经元

对于输入 x=(x1,x2,⋯,xn)T ， w=(w1,w2,⋯,wn)T 为神经元输入权值， θ 为偏置， u(x) 和 f(x) 分别为神经元的基函数和激活函数。基函数 u(x) 为多输入单输出函数 u=u(x,w,θ) ，激活函数 f(x) 一般对基函数输出 u 进行“挤压”，即通过非线性函数 f(x) 将 u 变换到指定范围内。

---

基函数 u(x) 的类型

1. 线性函数。多层感知器，Hopfield神经网络均采用此种基函数形式。采用线性函数时，基函数输出 u 为输入和阈值的加权和，即
   
   u=∑i=1nwixi+θ=xTw−θ
   
   其中， x 和 w 均为列向量， θ 为数。在多维空间中，此基函数形状为一个超平面。
2. 距离函数。常用于RBF神经网络。此基函数为
   
   u=∑i=1n(xi−wi)2−−−−−−−−−−√=||x−w||
   
   其中， w 被称为基函数的中心。其集合意义是向量 x 与 w 的欧式距离。在多维空间中，该基函数的形状是一个以 w 为球心的超球。
3. 椭圆基函数。
   其在距离函数基础上加上因素上的权重，即
   
   u=∑i=1nci(xi−wi)2−−−−−−−−−−−−√
   
   在多维空间中，其为一个超椭球。

---

激活函数 u=u(x) 类型

1. 硬极限函数
   单极限函数：
   

   y=f(u)={1,u≥00,u<0
   
   或双极限函数：
   
   y=f(u)=sgn(u)={1,u≥0−1,u<0
   
   式中，sgn(u)为符号函数。

2. 线性函数
   表达式如下
   

   y=f(u)=u
   
   该激活函数通常用于实现函数逼近网络的输出层神经元

3. 饱和线性函数
   饱和线性函数表达式为
   
   y=f(u)=12(|u+1|−|u−1|)
   
   此函数与下列表达式等价
   
   y=f(u)=⎧⎩⎨⎪⎪1u−1,,,u≥11>u>−1u≤−1
4. Sigmoid函数
   可用于分类、函数逼近与优化问题，严格单增且光滑，其函数形式为
   
   y=f(u)=11+e−λu
   
   其中， λ 称为Sigmoid函数的增益，是S型函数的斜率函数。 λ 越大，曲线越陡。其被称为双极性Sigmoid函数，值域为 (0,1) 。双曲正切S形激活函数（双极性Sigmoid函数）值域为 (−1,1) ，表达式如下
   
   y=f(u)=tanh(λu)=eλu−e−λueλu+e−λu
5. 高斯函数
   一般用于RBF神经网络，表达式为
   
   y=f(u)=e−u2δ2
   
   其中， δ 为高斯函数的宽度或扩展常数，其值越大，函数曲线越平坦， 取值越小。

---

[1] 田玉波，混合神经网络技术，科学出版社，2009年6月