MIT_线性代数笔记：第 15 讲 子空间投影

投影（射影）Projections

简单来说，两个向量之间的投影是将其中一个向量转换到另外一个向量的方向上，然后求内积。

投影问题的几何解释就是：如何在向量 a 的方向上寻找与向量 b 距离最近的一点。从图中可以看出，这个距离最近的点 p 就位于穿过 b 点并与向量 a 正交的直线与向量 a 所在直线的交点上。这就是 b 在 a 上的投影。如果我们将向量 p 视为 b的一种近似，则长度 e=b-p 就是这一近似的误差。
因为 p 在向量 a 的方向上，因此可以令 p=xa，而因为它和 e 正交，我们可以得到方程：$a^T$(b-xa)=0。

如果 b 变为原来的 2 倍，则 p 也变为原来的 2 倍。而如果 a 变为原来的 2 倍，p 不发生变化。从几何上和计算中都会得到验证。

投影矩阵 Projections matrix

我们将投影问题用投影矩阵的方式进行描述，即为 p=Pb，其中 P 为投影矩阵。

观察这个矩阵可知，矩阵 P 的列空间就是向量 a 所在的直线，矩阵的秩是 1。投影矩阵 P 是一个对称矩阵。另一方面，如果做两次投影则有 $P^2$b=Pb，这是因为第二次投影还在原来的位置。因此矩阵 P 有如下性质：$P^T$ = P，$P^2$=P。

为什么要投影 Why Project

如前所述，方程 Ax=b 有可能无解，我们需要得到方程的“最优解”。这里的问题在于向量 Ax 一定在矩阵 A 的列空间之内，但是 b 不一定，因此我们希望将 b 投影到 A 的列空间得到 p，将问题转化为求解

在高维投影 Projection in higher dimensions

在 $R^3$空间内，如何将向量 b 投影到它距离平面最近的一点 p？

如果 a1和 a2构成了平面的一组基，则平面就是矩阵 A=[a1a2]的列空间。

最小二乘 Least Squares

应用投影矩阵求方程组最优解的方法，最常用于“最小二乘法”拟合曲线。
有三个数据点{(1,1), (2,2), (3,2)}，求直线方程 b=C+Dt，要求直线尽量接近于三个点。把三个点的数据代入方程则有：