MIT_线性代数笔记：第 16 讲 投影矩阵和最小二乘法

投影 Projections

上一讲介绍了投影矩阵 P=A($A^T$A)${}^{-1}$$A^T$，当它作用于向量 b，相当于把 b 投影到矩阵 A 的列空间。

p+e=b,说明 b由两部分组成：
p =Pb为A 的列空间中的部分；
e = (I−P)b为A 的左零空间中的部分。
I − P 为左零空间的投影矩阵，可以验证$(I-P{)}^T$ = ( I − P )，并且$(I-P{)}^2$ =( I − P )。

最小二乘法 Least Squares

应用投影矩阵求方程组最优解的方法，最常用于“最小二乘法”拟合曲线。

三个点{(1,1), (2,2), (3,2)}，求直线方程 b=C+Dt，要求直线尽量接近于三个点。
C + D = 1 C + 2 D = 2 C + 3 D = 2 矩阵形式为 [ 1 1 1 2 1 3 ] [ C D ] = [ 1 2 3 ] \begin{align*} C + D =1 \\ C + 2D =2 \\ C + 3D =2 \end{align*} \qquad \qquad \qquad 矩阵形式为 \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} =\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} C+D=1C+2D=2C+3D=2​矩阵形式为 ​111​123​ ​[CD​]= ​123​ ​
这个的方程 Ax=b 是无解的，解决办法就是求其最优解，最优解的含义即为误差最小，这里误差就是每个方程误差值的平方和
∥ e ∥ 2 = ∥ A x − b ∥ 2 {\begin{Vmatrix} e \end{Vmatrix}}^2 ={\begin{Vmatrix} Ax - b \end{Vmatrix}}^2 ​e​ ​2= ​Ax−b​ ​2 ，因此就是寻找具有最小误差平方和的解 x，这就是所谓的“最小二乘”问题。 其中最接近的解为将b投影到A矩阵的系数x。
∥ e ∥ 2 = ∥ A x − b ∥ 2 = ∥ e 1 ∥ 2 + ∥ e 2 ∥ 2 + ∥ e 3 ∥ 2 {\begin{Vmatrix} e \end{Vmatrix}}^2 ={\begin{Vmatrix} Ax - b \end{Vmatrix}}^2 ={\begin{Vmatrix} e1 \end{Vmatrix}}^2 +{\begin{Vmatrix} e2 \end{Vmatrix}}^2 +{\begin{Vmatrix} e3 \end{Vmatrix}}^2 ​e​ ​2= ​Ax−b​ ​2= ​e1​ ​2+ ​e2​ ​2+ ​e3​ ​2
误差即为数据点到直线距离的平方和。这部分工作可称为线性回归，在数据点中没有“离群值” 时，这是非常有用的方法。

从几何上讨论求解过程，就是试图寻找数据点到直线距离的平方和 $e_1^2$ +$e_2^2$ +$e_3^2$ 最小的情况，此时得到的 C+Dt 分别为 p1，p2和 p3，它们是满足方程并最接近于 b的结果。另一种看法是，对于 R3空间上的向量 b，它投影到矩阵 A 的列空间中会得到向量 p=[p1 p2 p3]T，投影到矩阵 A 的零空间中则为 e。

投影向量p与误差向量e是正交的：

矩阵 $A^T$A