最陡下降法、LMS算法、RLS算法及其对比

最陡下降法、LMS算法、RLS算法及其对比

1、最陡下降算法公式：

是真实梯度，梯度公式中含有数学期望，不易求得。
LMS算法算法公式：

其中J(n)是梯度估计。

2、最陡下降算法搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）
LMS算法搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。

3、算法要求角度：
梯度下降法要求：同时间不的梯度向量（搜索方向）线性独立
LMS算法的独立性要求：
要求不同时间的输入信号向量线性独立

4、RLS算法在权向量的更新方程中,比LMS算法多了迭代矩阵P(n),而该矩阵可看作代价函数二阶导数矩阵的近似逆矩阵,因此RLS收敛速度快于LMS算法，但代价是计算量比LMS大很多。