最小二乘法求解超定方程的原理

假设

我们要求解一个方程$$AX=0$$
其中，A是一个$n\ast m$的矩阵，X是一个$m\ast 1$的向量
一般情况下，n>>m，这就是一个超定方程了，理论上无解，但是我们可以求得最小二乘意义下的解

求解过程

$$min||AX|{|}_2^2$$

---

$$||AX|{|}_2^2=(AX{)}^T(AX)=X^T{A}^{T}AX$$
此时令$B=A^{T}A$,并且设B的特征值以及特征向量为${\lambda }_i,b_i$,此时可以得到几个结论

1. X肯定可以表示为$X={\sum }_0^m{\alpha }_i{b}_i$,假设对应的特征值从大到小排列
2. $b_i\times b_j=\{\begin{array}{l}1,i=j\\ 0,i̸=j\end{array}$

所以
$$\begin{gathered} X^T{A}^{T}AX=X^{T}BX \\ =(\sum _0^m{\alpha }_i{b}_i{)}^{T}B(\sum _0^m{\alpha }_i{b}_i) \\ =(\sum _0^m{\alpha }_i{b_i}^T)(\sum _0^m{\alpha }_i{\lambda }_i{b}_i) \\ =\sum _0^m{\alpha }_i^2{\lambda }_i\ge a_m^2{\lambda }_m \end{gathered}$$
当且仅当$X={\sum }_0^m{\alpha }_i{b}_i={\alpha }_m{b}_m$时等号成立。

由于方程AX=0，乘上任意系数都成立，所以$X=b_m$即可。