超定方程组的最小二乘解

\qquad 看了很多关于最小二乘解的博客，事实上都没有找到自己想要的证明过程，后来学了矩阵函数时才彻底搞明白了这件事情，所以和大家简单分享如下：
\qquad 已知矩阵$A_{m\times n}(m＞n)$是列满秩的，则超定方程组$Ax=B$的最小二乘解为
$$x=(A^{T}A{)}^{-1}{A}^{T}B$$
\qquad 需要说明的是根据线性代数的知识，$rank(A^{T}A)=rank(A{A}^T)=rank(A)=n$，而$A^{T}A$的维数是n×n，所以$A^{T}A$一定可逆。事实上MATLAB矩阵求伪逆用的也是这个公式（只不过令$B=E_m$）。
\qquad 最小二乘法是让近似解代入的等式右边的$B^{\ast }$与$B$的度量最小，为了和向量的模长兼容，这里取的是矩阵的Frobenius范数（详见这里）因此问题转换为
$$\begin{gathered} x^{\ast }=arg\underset{x}{\min }||B^{\ast }-B|{|}_F \\ s.t.A{x}^{\ast }=B^{\ast } \end{gathered}$$
为了简便起见，我们仅讨论B是向量的情况（事实上矩阵的情况也可以通过向量化的方法加以解决），即$Ax=b$。

该问题也等价为
$$\begin{gathered} F(x)=(Ax-b{)}^T(Ax-b) \\ {x}^{\ast }=arg\underset{x}{\min }F(x) \end{gathered}$$
将$F(x)$展开如下：
$$\begin{array}{rl}F(x)& =(Ax-b{)}^T(Ax-b)\\ & =(x^{T}A-b^T)(Ax-b)\\ & =x^T(A^{T}A)x-b^{T}Ax-A^{T}bx+b^{T}b\\ & =x^T(A^{T}A)x-2x^T(A^{T}b)+b^{T}b\end{array}$$
需要说明的是$b^{T}Ax$是数，因此它等于本身的转置等于$A^{T}bx$，下面就是求$F(x)$的最小值，由于$A{A}^T$是半正定的（因为$x^T(A{A}^T)x=(A^{T}x{)}^T(A^{T}x)\ge 0$），而因为之前我们证明了$A$列满秩时$A^{T}A$可逆，因此$A^{T}A$必定没有零特征值，所以$A{A}^T$是正定的。这样，$F(x)$的极值点就一定是极小值点（即严格凸优化问题）。下面无非就是求导的问题：
$$\begin{gathered} \frac{\partial F(x)}{\partial x}=(A^{T}A+(A^{T}A{)}^T)x-2(A^{T}b) \\ =2(A^{T}A)x-2(A^{T}b) \end{gathered}$$
令其等于0，求得
$$x^{\ast }=(A^{T}A{)}^{-1}{A}^{T}b$$
这就是$F(x)$的极小值点即最小二乘解。
不清楚矩阵函数求导的同志可以看一下如下的公式:
$$\begin{array}{rl}& \frac{dA(x)B(x)}{dx}=\frac{dA(x)}{x}B(x)+A(x)\frac{dB(x)}{dx}\\ & \frac{d{x}^{T}Ax}{dx}=(A+A^T)x\\ & \frac{d{C}^{T}x}{dx}=\frac{d{x}^{T}C}{dx}=C\end{array}$$