神经网络学习笔记（八）:线性回归模型（下）

  在前面我们所讨论的Rosenblatt感知机是解决线性可分模式分类问题的第一个学习算法。而由Widrow和Hoff(1960)提出的最小均方算法(LMS)是第一个解决如预测和信道均等化等问题的线性自适应滤波算法。

LMS算法结构：

  与感知机结构类似，该算法也是有M维输入以及单一输出构成的数据集：

  其中

                                                        

  由于LMS考虑的模型输出神经元是线性的（这是与感知机算法在模型上最大的不同，感知机最终的输出并不一定是线性的），则：

  神经元的输出与系统在i时刻的输出作比较得到了误差信号：

 

  如，信号图所示，每次计算这个误差信号来调节权重向量。

  在这里我们再来看一下LMS与感知机，最小二乘法的联系与区别：感知机与LMS在模型的神经元输入输出的关系上不同，一个非线性，一个线性；但是都是通过误差信号来单步调节权重；LMS算法与最小二乘法都是通过误差信号来解出线性权重，但是最小二乘法是基于全部数据的误差信号来计算权重，更偏重于统计学的概念，用统计的思路求解，这就是为什么上节要通过概率统计的概念推导最小二乘法。

  这里再多说一句，LMS算法每次的误差信号都可以调节权重一次，这就是为什么该算法称为自适应算法，因为来一组数据就可以调节自身权重一次。

LMS算法步骤：

  

  LMS算法是建立在极小化代价函数的瞬时值，代价函数为：

这里e(n)是n时刻测得的误差信号。把代价函数对权值向量w求微分得

误差信号可以表示为：

因此代价函数梯度向量的瞬时估计为：

根据最速下降法可得权重向量的迭代公式：

  这与笔记(五)结尾处对感知机迭代算法关于梯度的分析是不是非常相似，都是梯度下降法；可见这两种单步自适应迭代都是类似于最速下降法得到的算法。这也很好理解，对于无约束最优化问题，最速下降法最简便也比较有效。

  最后给出LMS算法的伪码