1.9 向量投影

向量投影

力的正交分解就是投影，高中时一般向坐标轴投影，有时也需计算力在任意方向分量，即力在这个方向的投影，可通过内积计算。但有时需要计算力在某个平面内的分量，即力在平面内的投影，或者计算力垂直于某平面的分量，都可通过投影解决。

几何上，也经常涉及投影，如点到直线或平面的距离，此距离是点到直线或平面的最短距离，求此距离可通过投影解决。

再举个例子，为什么称为“投影”，投影就是物体在太阳光的照射下在地面形成的影子。当太阳光与地面垂直时是正投影，这就是线性代数中研究的投影。当物体与地面垂直时，影子长度（投影）为0。中国古时利用投影来计时，发明了日晷。希望读者根据物理学和几何学，获得投影的几何图像。

当转向高维空间时，投影不局限于低维子空间，可投向任意维度的子空间，所以需要代数方法，但理解需要几何图像。向量在子空间的投影，本质上是向量的正交分解，分解为两个向量：一个向量位于子空间，另一个位于其正交补空间。

子空间 $S_1$ 由无关组 $V=({\mathbf{v}}_1,\cdots ,{\mathbf{v}}_{\mathbf{n}})$ 张成，如何求任意向量 $\mathbf{v}$ 在子空间的投影向量呢？这是线性代数基本问题之一，也是理解线性方程的核心之一，必须十分重视。

投影向量位于子空间 $S_1$ 内，故其可表示为生成向量的线性组合，这是解决问题的关键一步，令投影向量为 ${\mathbf{v}}^{\perp }={\alpha }_1{\mathbf{v}}_1+\cdots +{\alpha }_n{\mathbf{v}}_{\mathbf{n}}$ ，只要算出表示系数组就可得到投影向量。另一正交分量 ${\mathbf{v}}^{-}=\mathbf{v}-{\mathbf{v}}^{\perp }$ 位于正交补空间 $S_1^{\perp }$ ，垂直子空间 $S_1$ 内任意向量。故两个分向量垂直，内积为零！这是关键第二步。
$$\begin{gathered} 0=({\mathbf{v}}^{\perp },{\mathbf{v}}^{-})=({\mathbf{v}}^{\perp },\mathbf{v}-{\mathbf{v}}^{\perp })=({\mathbf{v}}^{\perp },\mathbf{v})-({\mathbf{v}}^{\perp },{\mathbf{v}}^{\perp }) \\ 得：({\mathbf{v}}^{\perp },\mathbf{v})=({\mathbf{v}}^{\perp },{\mathbf{v}}^{\perp }) \\ 得：({\alpha }_1{\mathbf{v}}_1+\cdots +{\alpha }_n{\mathbf{v}}_{\mathbf{n}},\mathbf{v})=({\alpha }_1{\mathbf{v}}_1+\cdots +{\alpha }_n{\mathbf{v}}_{\mathbf{n}},{\alpha }_1{\mathbf{v}}_1+\cdots +{\alpha }_n{\mathbf{v}}_{\mathbf{n}})=\sum _{ij}{\alpha }_i{\alpha }_j({\mathbf{v}}_{\mathbf{i}},{\mathbf{v}}_{\mathbf{j}}) \end{gathered}$$

根据正交分解的唯一性，${\mathbf{v}}^{\perp }$ 是唯一的，根据无关组表示向量的唯一性，表示系数组存在且唯一。无关组是任意向量时，利用向量理论很难表示出表示系数，必须用矩阵理论才能方便表示。

无关组是标准正交基时，却很容易求出表示系数。 根据标准正交基性质： $({\mathbf{v}}_{\mathbf{i}},{\mathbf{v}}_{\mathbf{j}})=0,\forall i\ne j;=1，\forall i=j$ 。代入上式，
$$({\alpha }_1{\mathbf{v}}_1+\cdots +{\alpha }_n{\mathbf{v}}_{\mathbf{n}},\mathbf{v})={\alpha }_1({\mathbf{v}}_1,\mathbf{v})+\cdots +{\alpha }_n({\mathbf{v}}_{\mathbf{n}},\mathbf{v})={\alpha }_1^2+\cdots +{\alpha }_n^2$$
显然当 ${\alpha }_i=({\mathbf{v}}_{\mathbf{i}},\mathbf{v}),\forall i\in [1,n]$ 时，等式恒成立！故投影向量为：
$${\mathbf{v}}^{\perp }=({\mathbf{v}}_1,\mathbf{v}){\mathbf{v}}_1+\cdots +({\mathbf{v}}_{\mathbf{n}},\mathbf{v}){\mathbf{v}}_{\mathbf{n}}$$
标准正交基可以看作坐标轴，向量与坐标轴的内积就是向量在该轴方向的分量（坐标值），子空间内所有坐标轴方向的分量相加就是投影！

特别重要的特例，当子空间就是整个空间时，显然投影向量就是向量本身，得：

重要性质 $m$ 维空间任意向量 $\mathbf{v}$ 与标准正交基 $V$ 的正交分解：
$$\mathbf{v}=({\mathbf{v}}_1,\mathbf{v}){\mathbf{v}}_1+\cdots +({\mathbf{v}}_{\mathbf{m}},\mathbf{v}){\mathbf{v}}_{\mathbf{m}}$$

这就是物理学中的正交分解！得到最简基节同样结论。

下面证明垂线距离最短，几何上就是直角三角形斜边长度大于直角边，线性代数也是这样证明的。假设子空间 $S_1$ 内任意向量 $\mathbf{u}$ ，向量 $\mathbf{v}$ 分解为 $\mathbf{v}=\mathbf{u}+\mathbf{w}$ ，则向量 $\mathbf{w}$ 是斜边，向量 $\mathbf{v}-{\mathbf{v}}^{\perp }$ 是垂线，请想象出二维点到直线距离，三维点到平面距离的图像。
$$\Vert \mathbf{w}{\Vert }^2=\Vert \mathbf{v}-\mathbf{u}{\Vert }^2=\Vert (\mathbf{v}-{\mathbf{v}}^{\perp })+({\mathbf{v}}^{\perp }-\mathbf{u}){\Vert }^2=\Vert (\mathbf{v}-{\mathbf{v}}^{\perp }){\Vert }^2+\Vert ({\mathbf{v}}^{\perp }-\mathbf{u}){\Vert }^2\ge \Vert (\mathbf{v}-{\mathbf{v}}^{\perp }){\Vert }^2$$
向量 $\mathbf{v}-{\mathbf{v}}^{\perp }$ 位于正交补空间 $S_1^{\perp }$ ，垂直子空间内任意向量，向量 $({\mathbf{v}}^{\perp },\mathbf{u})$ 位于子空间内，故 $\mathbf{v}-{\mathbf{v}}^{\perp }$ 垂直 $({\mathbf{v}}^{\perp }-\mathbf{u})$ ，根据勾股定理，得到中间等式。

向量投影有个应用，就是判断向量是否位于子空间内？如果向量等于子空间投影，则向量位于子空间内。子空间内的向量能被子空间的生成向量组表示。

向量投影的这两个性质对于理解线性方程很关键，特别是最小二乘法。