最小二乘法数学原理推导

问题定义

$$Ax=b\text{\hspace{1em}(1)}$$
在实际问题中，该方程组可能不存在真正的解，这时我们就希望可以求解它的一个近似解 $x^{\ast }$，使得其能尽可能地接近 (1) 的真正解，其中 $A\in R^{k\times n},b\in R^k$ 是已知的，而 $x\in R^n$ 是未知量。注意，这里假定 $k\ge n$ 且 $A^{T}A\in R^{n\times n}$ 是可逆的。
在数学上，已经给出这类问题的解了：$x^{\ast }=(A^{T}A{)}^{-1}{A}^{T}b$。
下面就来简单的推导下该解的由来：

法一：

$${\mathrm{argmin}}_{x}Ax\approx b\Rightarrow {\mathrm{argmin}}_{x}f(x)=\Vert Ax-b{\Vert }^2\text{\hspace{1em}(2)}$$
对于 (2) 式，将其展开：
$$\begin{array}{lll}f(x)& =& \Vert Ax-b{\Vert }^2\\ & =& (Ax-b{)}^T(Ax-b)\\ & =& (x^T{A}^T-b^T)(Ax-b)\\ & =& x^T{A}^{T}Ax-x^T{A}^{T}b-b^{T}Ax+b^{T}b\\ & =& x^T{A}^{T}Ax-2b^{T}Ax+b^{T}b\\ & =& \underset{y^T}{x^T(A^{T}A{)}^{1/2}}\underset{y}{(A^{T}A{)}^{1/2}x}-2b^{T}A(A^{T}A{)}^{-1/2}\underset{y}{(A^{T}A{)}^{1/2}x}+b^{T}b\\ & =& y^{T}y-2b^{T}A(A^{T}A{)}^{-1/2}y+b^{T}b\\ & =& y^{T}y-2{\left((A^{T}A{)}^{-1/2}{A}^{T}b\right)}^{T}y+{\left((A^{T}A{)}^{-1/2}{A}^{T}b\right)}^T\left((A^{T}A{)}^{-1/2}{A}^{T}b\right)+\underset{d}{b^{T}b-{\left((A^{T}A{)}^{-1/2}{A}^{T}b\right)}^T\left((A^{T}A{)}^{-1/2}{A}^{T}b\right)}\\ & =& {\left(y-(A^{T}A{)}^{-1/2}{A}^{T}b\right)}^T\left(y-(A^{T}A{)}^{-1/2}{A}^{T}b\right)+d\\ & =& {\Vert y-(A^{T}A{)}^{-1/2}{A}^{T}b\Vert }^2+d\end{array}\text{\hspace{1em}(3)}$$
通过 (3) 式可知，当 $y=(A^{T}A{)}^{-1/2}{A}^{T}b$ 时，$f(x)$ 取得最小值 $d$：
$$\begin{array}{lrll}& y& =& (A^{T}A{)}^{-1/2}{A}^{T}b\\ \Rightarrow & (A^{T}A{)}^{1/2}x& =& (A^{T}A{)}^{-1/2}{A}^{T}b\\ \Rightarrow & x& =& (A^{T}A{)}^{-1}{A}^{T}b\end{array}\text{\hspace{1em}(4)}$$
即当 $x=(A^{T}A{)}^{-1}{A}^{T}b$ 时，$f(x)$ 取最小值 $d$。所以 $x=(A^{T}A{)}^{-1}{A}^{T}b$ 是式 (1) 的最近解。

法二：

$$\begin{array}{lll}f(x)& =& \Vert Ax-b{\Vert }^2\\ & =& (Ax-b{)}^T(Ax-b)\\ \frac{\partial f(x)}{\partial A}& =& A^T(Ax-b)+(Ax-b{)}^T(A)=2A^T(Ax-b)\end{array}\text{\hspace{1em}(4)}$$
令 $\frac{\partial f(x)}{\partial A}=0$ 可得，若 $A^{T}A$ 是满秩矩阵或者正定阵，即当 $A^{T}A$ 可逆时：
$$A^{T}Ax=A^{T}b\to x=(A^{T}A{)}^{-1}{A}^{T}b$$