【信源编码 作业五】LMS算法

LMS算法的全称是Least mean square 算法，中文名称是最小均方算法。其首先由Bernard Widrow和Marcian E. Hoff所提出，被用于修正滤波器参数使均方差（Mean Square Error，MSE）达到最小，大大降低了分类算法的复杂度。
均方差这个概念的公式如下所示：
（1）
上述公式中的R表示正确的预期结果，C表示当前计算结果。这个便是LMS算法中终止算法的核心公式。
如何得到当前计算结果C的公式如下所示：
（2）
i表示输入值，W表示输入端所对应的权值，对这两个值进行乘法运算后，并求和。对于求和的结果可以进行一定处理，比如大于0的O便为1；否则就为-1。
用于调整输入端权值的公式如下所示：
（3）
在算法运行时，不断利用公式（2）进行输入端的权值调整，使权值越来越接近正确值。其中w便是输入端所对应的权值，I是输入值，它表示学习参数，一般为小于1的正数。
LMS算法的基本流程如下所示：
（1）初始化工作，为各个输入端的权值覆上随机初始值；
（2） 随机挑选一组训练数据，进行计算得出计算结构C；
（3）利用公式（3）对每一个输入端的权值进行调整；
（4） 利用公式1计算出均方差MSE；
（5） 对均方差进行判断，如果大于某一个给定值，回到步骤（2），继续算法；如果小于给定值，就输出正确权值，并结束算法。