一般神经元模型

一般神经元

对于输入 x=(x1,x2,,xn)T w=(w1,w2,,wn)T 为神经元输入权值, θ 为偏置, u(x) f(x) 分别为神经元的基函数和激活函数。基函数 u(x) 为多输入单输出函数 u=u(x,w,θ) ,激活函数 f(x) 一般对基函数输出 u 进行“挤压”,即通过非线性函数 f(x) u 变换到指定范围内。


基函数 u(x) 的类型

  1. 线性函数。多层感知器,Hopfield神经网络均采用此种基函数形式。采用线性函数时,基函数输出 u 为输入和阈值的加权和,即
    u=i=1nwixi+θ=xTwθ

    其中, x w 均为列向量, θ 为数。在多维空间中,此基函数形状为一个超平面。
  2. 距离函数。常用于RBF神经网络。此基函数为
    u=i=1n(xiwi)2=||xw||

    其中, w 被称为基函数的中心。其集合意义是向量 x w 的欧式距离。在多维空间中,该基函数的形状是一个以 w 为球心的超球。
  3. 椭圆基函数。
    其在距离函数基础上加上因素上的权重,即
    u=i=1nci(xiwi)2

    在多维空间中,其为一个超椭球。

激活函数 u=u(x) 类型

  1. 硬极限函数
    单极限函数:

    y=f(u)={1,u00,u<0

    或双极限函数:
    y=f(u)=sgn(u)={1,u01,u<0

    式中,sgn(u)为符号函数。

  2. 线性函数
    表达式如下

    y=f(u)=u

    该激活函数通常用于实现函数逼近网络的输出层神经元

  3. 饱和线性函数
    饱和线性函数表达式为
    y=f(u)=12(|u+1||u1|)

    此函数与下列表达式等价
    y=f(u)=1u1,,,u11>u>1u1
  4. Sigmoid函数
    可用于分类、函数逼近与优化问题,严格单增且光滑,其函数形式为
    y=f(u)=11+eλu

    其中, λ 称为Sigmoid函数的增益,是S型函数的斜率函数。 λ 越大,曲线越陡。其被称为双极性Sigmoid函数,值域为 (0,1) 。双曲正切S形激活函数(双极性Sigmoid函数)值域为 (1,1) ,表达式如下
    y=f(u)=tanh(λu)=eλueλueλu+eλu
  5. 高斯函数
    一般用于RBF神经网络,表达式为
    y=f(u)=eu2δ2

    其中, δ 为高斯函数的宽度或扩展常数,其值越大,函数曲线越平坦, 取值越小。

[1] 田玉波,混合神经网络技术,科学出版社,2009年6月

你可能感兴趣的:(神经网络)