线性代数拾遗（6）—— 向量空间投影与投影矩阵

• 参考：麻省理工线性代数
• 阅读本文前请先了解矩阵四个基本子空间，参考：线性代数拾遗（5） —— 矩阵的四个基本子空间

---

1. 向量投影到一维空间（向量间投影）

• 考察二维平面投影，如下将向量 $b\text{b}b$ 投影到向量 $a\text{a}a$ 方向，得到 $a\text{a}a$ 的子空间中的向量 $p\text{p}p$，假设是 $a\text{a}a$ 的 $x$ 倍
  

  如图可见 $b-p\text{b−p}b-p$ 可以衡量 $a,b\text{a,b}a,b$ 间的误差，它与向量 $a\text{a}a$ 正交，內积为 0，即有
  $$\begin{array}{rl}& a^{\top }\text{a⊤}{a}^{\top }(b-p\text{b−p}b-p)=a^{\top }\text{a⊤}{a}^{\top }(b\text{b}b-xa\text{a}a)=0\text{0}0\\ & \Rightarrow x=\frac{a^{\top }b\text{a⊤b}{a}^{\top }b}{a^{\top }a\text{a⊤a}{a}^{\top }a}\\ & \Rightarrow p\text{p}p=a\text{a}ax=a\text{a}a\frac{a^{\top }b\text{a⊤b}{a}^{\top }b}{a^{\top }a\text{a⊤a}{a}^{\top }a}=(\frac{a{a}^{\top }\text{aa⊤}a{a}^{\top }}{a^{\top }a\text{a⊤a}{a}^{\top }a})b\text{b}b\end{array}$$ 这时，我们把 $\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}$ 称为 投影矩阵，记为 $P\text{P}P$，用它左乘原始向量 $b\text{b}b$ 就得到投影向量 $p\text{p}p$，即 $Pb\text{Pb}Pb=p\text{p}p$

• 两种特殊情况

  1. 若 $b\text{b}b$ 和 $a\text{a}a$ 平行，有 $Pb\text{Pb}Pb=b\text{b}b$
  2. 若 $b\text{b}b$ 和 $a\text{a}a$ 正交，有 $Pb\text{Pb}Pb=0\text{0}0$

  二维空间中，平行和正交于向量 $a\text{a}a$ 的两个向量构成一组基，可以线性表出任意向量，投影本质就是保留平行部分而消除正交部分

• 研究投影矩阵 $P\text{P}P=\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}$ 性质

  1. 分子 ${\mathbf{a}}^{\top }\mathbf{a}$ 是向量內积，是个常数，不管它
  2. 分子 $\mathbf{a}{\mathbf{a}}^{\top }$，这是个矩阵，显然有 $\text{rank}(A\text{A}A)=1$，其列空间就是 $ka\text{a}a$，因此用投影矩阵左乘向量会把向量变换到其列空间 $ka\text{a}a$ 中，实现投影

     注：用矩阵左乘一个向量时，相当于对这个矩阵的列向量做线性组合，得到的向量位于矩阵的列空间中

  3. $\mathbf{a}{\mathbf{a}}^{\top }$ 对称，所以 $p\text{p}p$ 是对称矩阵，$P\text{P}P=P^{\top }\text{P⊤}{P}^{\top }$
  4. 重复投影两次，结果不变，即有 ${P\text{P}P}^2=P\text{P}P$

     这个也可以简单地展开计算验证

• 另外提一句， 假设向量 $a,b\text{a,b}a,b$ 夹角为 $\theta$，常见的向量内积 $${a\text{a}a}^{\top }b\text{b}b=||b||\cdot ||a||\cdot cos(\theta )$$ 计算的就是一个向量的模乘以另一个向量在此向量上投影的模长。如果把其中某一个向量的模长设为1（即变为单位向量），最后再乘以该向量，就得到投影向量，即
  $$\begin{gathered} a\text{a}a投影到单位向量b\text{b}b为：({a\text{a}a}^{\top }b\text{b}b)b\text{b}b=({b\text{b}b}^{\top }a\text{a}a)b\text{b}b=||a\text{a}a||cos(\theta )b\text{b}b，其中||b\text{b}b||=1 \\ b\text{b}b投影到单位向量a\text{a}a为：({a\text{a}a}^{\top }b\text{b}b)a\text{a}a=({b\text{b}b}^{\top }a\text{a}a)a\text{a}a=||b\text{b}b||cos(\theta )a\text{a}a，其中||a\text{a}a||=1 \end{gathered}$$ 当投影方向不是单位向量时，增加其模的倒数进行缩放，如上图中的 $p\text{p}p=||b\text{b}b||cos(\theta )\frac{\mathbf{a}}{||\mathbf{a}||}$

2. 向量投影到多维空间

2.1 计算方法

• 完全和第 1 节中二维情况完全类似，现有矩阵 $A\text{A}A$，将向量 $b\text{b}b$ 投影到 $A\text{A}A$ 列向量 ${a\text{a}a}_1,{a\text{a}a}_2,...,{a\text{a}a}_n$ 张成的空间中得到 $p\text{p}p$。三维情况示意图如下
  可见这时仍有 $e\text{e}e=b-p\text{b−p}b-p$ 可以衡量 $b\text{b}b$ 和 $A\text{A}A$ 列空间间的误差，我们希望希望二者正交（也就是希望误差最小化），这意味着 $b\text{b}b$ 与 $A\text{A}A$ 的所有列向量正交，內积均为 0；另一方面，这时 $p\text{p}p$ 在 $A\text{A}A$ 列空间中，故能用 $A\text{A}A$ 的列向量线性表示，设 $p\text{p}p=A\hat{x}\text{Ax^}A\hat{x}$，则有
  $$\begin{array}{rl}& \left[\begin{array}{c}{a\text{a}a}_1^{\top }\\ {a\text{a}a}_2^{\top }\\ ⋮\\ {a\text{a}a}_m^{\top }\end{array}\right](b-p\text{b−p}b-p)=\left[\begin{array}{c}{a\text{a}a}_1^{\top }\\ {a\text{a}a}_2^{\top }\\ ⋮\\ {a\text{a}a}_m^{\top }\end{array}\right](b\text{b}b-A\text{A}A\hat{x}\text{x^}\hat{x})=\left[\begin{array}{c}0\text{0}0\\ 0\text{0}0\\ ⋮\\ 0\text{0}0\end{array}\right]\\ & \Rightarrow A^{\top }\text{A⊤}{A}^{\top }(b-A\text{A}A\hat{x}\text{b−AAAx^}b-A\text{A}A\hat{x})=0\text{0}0\\ & \Rightarrow \hat{x}\text{x^}\hat{x}=(A^{\top }A\text{A⊤A}{A}^{\top }A{)}^{-1}{A}^{\top }b\text{A⊤b}{A}^{\top }b\\ & \Rightarrow p\text{p}p=A\hat{x}\text{Ax^}A\hat{x}=A\text{A}A(A^{\top }A\text{A⊤A}{A}^{\top }A{)}^{-1}{A}^{\top }b\text{A⊤b}{A}^{\top }b\end{array}$$ 这时，我们把 $A\text{A}A(A^{\top }A\text{A⊤A}{A}^{\top }A{)}^{-1}{A}^{\top }\text{A⊤}{A}^{\top }$ 称为 投影矩阵，记为 $P\text{P}P$，用它左乘原始向量 $b\text{b}b$ 就得到投影向量 $p\text{p}p$，即 $Pb\text{Pb}Pb=p\text{p}p$。

• 两种特殊情况

  1. 若 $b\text{b}b\in C(A\text{A}A)$，有 $Pb\text{Pb}Pb=b\text{b}b$

     这时 $b\text{b}b=Ax\text{Ax}Ax$ 是 $A\text{A}A$ 的线性组合，有 $Pb\text{Pb}Pb=A\text{A}A(A^{\top }A\text{A⊤A}{A}^{\top }A{)}^{-1}{A}^{\top }Ax\text{A⊤Ax}{A}^{\top }Ax=Ax\text{Ax}Ax=b\text{b}b$

  2. 若 $b\text{b}b\perp C(A\text{A}A)$，即 $b\text{b}b\in N(A^{\top }\text{A⊤}{A}^{\top })$，有 $Pb\text{Pb}Pb=0\text{0}0$

     这时 $A^{\top }b\text{A⊤b}{A}^{\top }b=0\text{0}0$，有 $Pb\text{Pb}Pb=A\text{A}A(A^{\top }A\text{A⊤A}{A}^{\top }A{)}^{-1}{A}^{\top }x\text{A⊤x}{A}^{\top }x=0\text{0}0$

  $m$ 维（$A\text{A}A$ 列向量尺寸）空间可以分解为 $C(A\text{A}A)$ 和 $N(A^{\top }\text{A⊤}{A}^{\top })$ 的正交直和，因此这两个空间的基放在一起就构成 $m$ 维空间的一组基，可以线性表出任意向量，投影本质就是保留 $C(A\text{A}A)$ 中部分而消除 $N(A^{\top }\text{A⊤}{A}^{\top })$ 中部分，可以用子空间关系图如下表示
  
  如图可见，除了上述投影 $Pb=p\text{Pb=p}Pb=p$ 把 $b\text{b}b$ 投影到 $C(A\text{A}A)$ 中以外，还有另一个投影 $(I-P\text{I−P}I-P)b\text{b}b=e\text{e}e$ 将 $b\text{b}b$ 投影到 $N(A^{\top }\text{A⊤}{A}^{\top })$ 中，可见当 $P\text{P}P$ 是投影矩阵时，$I-P\text{I−P}I-P$ 也是一个投影矩阵

• 研究投影矩阵 $P\text{P}P=A\text{A}A(A^{\top }A\text{A⊤A}{A}^{\top }A{)}^{-1}{A}^{\top }\text{A⊤}{A}^{\top }$ 性质

  1. 当 $A\text{A}A$ 非方阵时，$A\text{A}A$ 列满秩 $\iff A^{\top }A\text{A⊤A}{A}^{\top }A$ 可逆，
  2. 当 $A\text{A}A$ 是可逆方阵时，其中的括号可以打开，这时有 $P\text{P}P=I\text{I}I$，即投影矩阵做的是恒等映射。确实如此，因为 $A\text{A}A$ 可逆，意味着列满秩，其列空间是整个 $n$ 维空间，投影前后都在同一个空间中，那么恒等映射显然是误差最小的
  3. 简单计算即可得到 $P\text{P}P$ 是对称矩阵，即有 $P\text{P}P=P^{\top }\text{P⊤}{P}^{\top }$
  4. 重复投影两次，结果不变，即有 ${P\text{P}P}^2=P\text{P}P$，也可从代数角度简单计算验证
  5. $P\text{P}P$ 是投影矩阵时，$I-P\text{I−P}I-P$ 也是一个投影矩阵

2.2 意义

• 现实生活中常有这样的应用：根据一些测量值求解另一些值，比如根据卫星与几个基站的通讯延时测量其位置。这其实就是在解方程，通常一组观测值解出一个结果，为了提高准确性，通常会收集很多数据，这样就联立到得到方程组 $$Ax\text{Ax}Ax=b\text{b}b$$一般情况下样本量远大于未知数个数，即 ${A\text{A}A}_{m\times n}$ 中 $m>>n$，这样的超定方程很难有解析解，除非其中含有多达 $m-n$ 个无效约束，因为我们没法对非方阵的 $A\text{A}A$ 求逆来得到 $x\text{x}x={A\text{A}A}^{-1}b\text{b}b$
• 这时我们可以不断地去除方程，直到剩下的方程组有解为止，但这会造成数据浪费。另一种更好的方法是找一个和已知数据 “误差最小” 的解，设这个近似解为 $\hat{x}\text{x^}\hat{x}$，我们有
  $$A\hat{x}\text{Ax^}A\hat{x}=p\text{p}p$$ 第 1 节中已分析过，我们这时是通过矩阵 $A\text{A}A$ 左乘，把向量 $\hat{x}\text{x^}\hat{x}$ 变换到了 $A\text{A}A$ 的列空间中得到 $p\text{p}p$，为了保证 “误差最小” ，这时 $p\text{p}p$ 应当是 $b\text{b}b$ 在 $A\text{A}A$ 列空间中的投影
• 一句话说，可以利用空间投影估计无解线性方程组的最小误差解，基于这个原理可以得到最小二乘法