现代数字信号处理第六章——最小二乘理论和算法

本章核心：利用最小二乘估计及算法，根据有限个数的观测数据寻求滤波器的最优值。内容分为四部分：

• 最小二乘估计原理
• 基于奇异值分解的最小二乘法求解
• 基于最小二乘的FBLP谱估计
• 最小二乘的两种递归算法：RLS和QR-RLS

一、最小二乘理论

1、线性方程组$Ax=b$解的形式

• A可逆，$x=A^{-1}b$
• A列满秩，独立方程数大于未知量数，方程有最小二乘解，${\hat{x}}_{LS}=(A^{H}A{)}^{-1}{A}^{H}b$
• A行满秩，位置量数目大于方程数，方程有无穷多组解，但有唯一最小范数解，${\hat{x}}_F=A^H(A{A}^H{)}^{-1}b$

2、LS估计的确定型正则方程

\quad 经过推导，令数据矩阵$A^H$如下图所示，则估计值$\hat{b}=Aw$，误差为$e=b-\hat{b}=b-Aw$

\quad 横向滤波器的设计原则是：寻找权向量使得误差信号$e(n)$在某种意义下取得极小值。即$$\begin{gathered} J=\sum _{n=M}^N|e(n){|}^2=|e{|}^2=e^{H}e \\ =(b^H-w^H{A}^H)(b-Aw) \\ =b^{H}b-b^{H}Aw-w^H{A}^{H}b-w^H{A}^{H}Aw \\ \Delta J=-2A^{H}b+2A^{H}Aw=0 \\ 确定性正则方程：A^{H}A\hat{w}=A^{H}b \\ 最小二乘解：\hat{w}=(A^{H}A{)}^{-1}{A}^{H}b \\ 最小二乘估计：\hat{b}=A\hat{w}，简称LS估计 \end{gathered}$$

3、LS估计正交原理

• A中每一列都与误差向量$e$正交：$A^{H}e=A^H(b-A\hat{w})=A^{H}b-A^{H}A\hat{w}=0$
• 估计向量$\hat{b}是b$的一个正交投影：$\hat{b}e=\hat{b}(b-A\hat{w})=0$
• 

4、代价函数极小值$J_{min}=e_{min}^H{e}_{min}$

二、LS问题的求解——奇异值分解

\quad 直接求解$A^{H}A\hat{w}=A^{H}b$工程上不易实现。我们借助奇异值分解可以求出$A^{H}A$的 逆。假设$A$含有$M$个非零特征值$\sum =\{{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_M\}$，可以将$A^{H}A$分解为酉矩阵$X$的表达式$A^{H}A=X{\sum }^2{X}^H$，因为酉矩阵$X^{-1}=X$，可得$(A^{H}A{)}^{-1}=X{\sum }^{-2}{X}^H$，展开可得：

故而，$\hat{w}={\sum }_{i=1}^M\frac{x_i{x}_i^H}{{\sigma }_i^2}{A}^{H}b$。利用SVD得到LS问题的算法如下：

三、基于LS估计的FBLP原理和功率谱估计

\quad 对于FLP而言，数据矩阵为
代价函数为
对于BLP而言，数据矩阵和代价函数依次是：

\quad 令FBLP的代价函数为FLP和BLP之和，即$J=J_f+J_b$，
\quad 定义向量$b^H=[b_f^H,b_b^T],A^H=[A_f^H,A_b^T]$，则$J=b^{H}b-b^{H}Aw-w^H{A}^{H}b-w^H{A}^{H}Aw$，只需使得$A^{H}Aw=A^{H}b$便能最小化误差。

使用SVD实现AR模型功率谱估计

四、递归最小二乘算法RLS

• 初值$\delta =0.001，0.01，0.1$对RLS算法影响很小
• $\lambda$的取值对算法有明显影响，主要表现在稳态误差上
• PLS算法比LMS算法收敛特性好很多
  

五、基于QR分解递归最小二乘算法QPLS

QR分解原理

$$\begin{gathered} e(n)=b(n)-A(n)w(n) \\ J(n)=|e(n){|}^2 \\ 引入遗忘因子\lambda ={\beta }^2,J(n)=||B(n)e(n)|{|}^2,B(n)=diag\{{\beta }^{n-1},{\beta }^{n-2},\cdots ,\beta ,1\} \\ 酉矩阵Q(n)左乘，得J(n)=||Q(n)B(n)e(n)|{|}^2=||Q(n)B(n)b(n)-Q(n)B(n)A(n)w|{|}^2 \end{gathered}$$
\quad 选择$Q(n)$使得$Q(n)B(n)A(n)=[R(n),0{]}^T$，
\quad 使$Q(n)B(n)b(n)=[p(n),v(n){]}^T$，则
\quad 故而当$R(n)w=p(n)$时$J(n)$最小$J_{min}=||v(n)|{|}^2$，并可求出权重向量

六、基于Givens旋转得QP-RLS算法

\quad 如何得到$Q(n)$，使得$Q(n)B(n)A(n)$为上三角矩阵呢？借助Givens旋转可以实现。