线性神经网络

线性神经网络最典型的例子是自适应线性元件(Adaptive Linear Element, Adaline),20世纪50年代末由WidrowHoff提出。线性神经网络的激活函数(或者称为传输函数)是线性函数(Linear,图4-1)和符号函数(Sgn,4-2),除了产生二值输出以外,还可以产生模拟输出(输出可以为任意值,图4-3)。线性神经网络采用Widrow-Hoff学习规则,即LMS(Least Mean Square)算法来调整网络的权值和偏置。LMS算法用于训练单层网络,从理论上说,对于每一个多层线性网络,都具有一个等效的单层线性网络与之对应。

 线性神经网络_第1张图片

 1  线性函数(Linear, y=x, x本身就是神经元输出)

 线性神经网络_第2张图片

2  符号函数(Sgn, x大于等于0时,输出1,否则输出-1 

 线性神经网络_第3张图片 

3  线性神经网络

假设输入是一个n维向量X=[x1,x2,...,xn],从输入到神经元的权值为ωi,则该神经元的输出为:

v=∑xiωi+b,i=1、2、…、n

在输出层(图3,输出层只有一个节点)中的传输函数采用函数f,最终的输出为:y=f(v),即y=f(∑xiωi+b)。

如函数f为线性函数Linear,输入V就是神经元输出(图1):

y=∑xiωi+b,i=1、2、…、n

如函数f为符号函数Sgn(图2),则神经元产生二值输出:

q=Sgn(∑xiωi+b)

用矩阵表示:

线性神经网络_第4张图片

你可能感兴趣的:(神经网络)