维纳滤波 梯度最速下降 最小均方 梯度随机下降 最小二乘 迭代最小二乘 分别推导及其关系

Winner Filte

先从维纳滤波器说起，M阶维纳滤波的模型为
$$e(n)=d(n)-W^{H}U(n)\text{\hspace{1em}(1)}$$
其中$W=[W(0),\cdots ,W(M-1){]}^T,U(n)=[U(0),\cdots ,U(M-1){]}^T$

Cost function为$J(W)=E[|e(n){|}^2]$。

我们的目的是：
$$W_{opt}=\arg \underset{W}{\min }J(W)$$
我们着手来解这个最优化问题
$$\begin{array}{rl}J(W)& =E[|e(n){|}^2]\\ & =E[e(n)e^{\ast }(n)]\\ & =E[(d(n)-W^{H}U(n))(d^{\ast }(n)-U^H(n)W)]\\ & =E[|d(n){|}^2-d(n)U^H(n)W-W^{H}U(n)d^{\ast }(n)-W^{H}U(n)U^H(n)W]\\ & ={\sigma }_d^2-E[d(n)U^H(n)]W-W^{H}E[U(n)d^{\ast }(n)]+W^{H}E[U^H(n)U(n)]W\\ & ={\sigma }_d^2-P^{H}W-W^{H}P+W^{H}RW\end{array}\text{\hspace{1em}(2)}$$
根据上式可知，目标函数$J(W)$是变量$W$的二次型多项式，开口向上。因此，目标函数存在全局最小值，且 $W_{opt}=\{W|\frac{\partial J(W)}{\partial W}=0\}$
$$0=\frac{\partial J(W)}{\partial W}=2R{W}_{opt}-2P\text{\hspace{1em}(3)}$$
于是解上式可得最优解为
$$W_{opt}=R^{-1}P\text{\hspace{1em}(4)}$$
最小误差为
$$J(W{)}_{min}=J(W_{opt})={\sigma }_d^2-p^H{R}^{-1}P$$

梯度最速下降

事实上，虽然Winner滤波问题存在最优解，但是求逆过程带来的反面影响就是计算复杂度较高。因此，引入迭代求解的思路。

目的是根据新的数据调整Winner Filter的系数$W$。思路如下公式得出
$$W(n+1)=W(n)-\frac{1}{2}\mu \frac{\partial J(W)}{\partial W}\text{\hspace{1em}(4.5)}$$
将（3）式的梯度带入到上式子可得系数$W$的更新如下
$$W(n+1)=W(n)+\mu (P-RW(n))\text{\hspace{1em}(5)}$$

最小均方（LMS）

LMS的Cost Function为
$$J_{MS}(W)=|e(n){|}^2\text{\hspace{1em}(6)}$$
与Winner模型相比，去掉了期望。

与（2）式对应，化简$J_{MS}(W)$, 如下
$$\begin{array}{rl}{J}_{MS}(W)& =|e(n){|}^2\\ & =e(n)e^{\ast }(n)\\ & =(d(n)-W^{H}U(n))(d^{\ast }(n)-U^H(n)W)\\ & =|d(n){|}^2-d(n)U^H(n)W-W^{H}U(n)d^{\ast }(n)-W^{H}U(n)U^H(n)W\\ & ={\sigma }_d^2-d(n)U^H(n)W-W^{H}U(n)d^{\ast }(n)+W^H{U}^H(n)U(n)W\end{array}\text{\hspace{1em}(7)}$$
所以
$$\frac{\partial J_{MS}(W)}{\partial W}=2U(n)U^H(n)W-2U(n)d^{\ast }(n)\text{\hspace{1em}(8)}$$

梯度随机下降

考虑$J_{MS}(W)$没有对输入数据取平均，因此认为输入数据是随机的，直接将（8）式带入到梯度下降式（5）中便可得到随机梯度下降模型的权重更新公式
$$\begin{array}{rl}W(n+1)& =W(n)+\mu (U(n)d^{\ast }(n)-U(n)U^H(n)W(n))\\ & =W(n)+\mu U(n)(d^{\ast }(n)-U^H(n)W(n))\\ & =W(n)+\mu U(n)e^{\ast }(n)\end{array}$$

最小二乘(LS)

事实上，对于Winner Filter的目标函数$J(w)$是用了集平均，依赖于输入数据的先验统计特征；LMS的随机梯度下降只依赖当前新样本，具有一定的随机性；而最小二乘通过处理具有一定长度的数据块，即摆脱了对于输入数据先验统计特征的依赖，也避免了只依赖于当前数据所带来的随机性。

于Winner Filer和LMS不同，最小二乘的Cost Function为$J_S(W)=\sum _{i=M}^N|e(n){|}^2$

下面进行计算
$$\begin{array}{rl}{J}_S(W)& =\sum _{n=M}^N|e(n){|}^2\\ & =\sum _{n=M}^N(|d(n){|}^2-d(n)U^H(n)W-W^{H}U(n)d^{\ast }(n)-W^{H}U(n)U^H(n)W)\\ & =d^{H}d-d^{H}AW-W^H{A}^{H}d-W^H{A}^{H}AW\end{array}$$
其中$d=[d(M),\cdots ,d(N-M+1){]}^T,A=[U(M),\cdots ,U(N){]}^H$。

与Winner Filter相似，可以发现$J_S(W)$有全局最优解，$W_{opt}=\{W|\frac{\partial J_S(W)}{\partial W}=0\}$
$$0=\frac{\partial J_S(W)}{\partial W}=2A^{H}A{W}_{opt}-2A^{H}d$$
即$W_{opt}=(A^{H}A{)}^{-1}{A}^{H}d$

最小误差为
$$J_S(W{)}_{min}=J_S(W_{opt})=d^{H}d-(A^{H}d{)}^H(A^{H}A{)}^{-1}(A^{H}d)=d^{H}d-d^{H}A(A^{H}A{)}^{-1}{A}^{H}d$$
事实上，上式中的$A(A^{H}A{)}^{-1}{A}^H$即为投影算子。

迭代最小二乘（RLS）

同Winner Filter遇到的问题一样，LS虽然有全局最优解，但是每次求解过程中的求逆运算增大了计算复杂度，于是引入迭代最小二乘。