MIT18.06 线性代数笔记 15 子空间投影

老师首先从二维入手, 主要是要告诉我们, 如何找一个向量在一个子空间上的投影, 运用正交的思想, 并介绍了投影矩阵的概念. 把向量$b$投影到子空间$A$, 可以通过左乘投影矩阵$P$完成, 即$Proj(b)=Pb$.
直接看高维如何计算向量在子空间上的投影. 把$b$投影到以$a_1,a_2,...,a_m$为基的子空间上, 其中$a_1,a_2,...,a_m$为$n$维向量. 设投影后得到的向量为$p$, 那么$p$是$a_1,a_2,...,a_m$的线性组合,
即$p=x_1{a}_1+x_2{a}_2+...+x_m{a}_m$, 令
$A=[a_1{a}_2...a_m]$
$x=[x_1{x}_2...x_m]$
则$p=Ax$
由投影的定义, 向量$b-p$与$C(A)$正交, 那么
$A^T(b-Ax)=0$ (子空间的基与$b-p$都正交)
$A^{T}Ax=A^{T}b$
从几何上看, 向量$b$在$C(A)$上的投影一定存在, 所以该方程一定有解, 代数证明可看https://blog.csdn.net/u011240016/article/details/52972295
这样$x$解出来便是$Ax=p$的解, 称为$Ax=b$的最小二乘解.
也可看出$b-Ax\in N(A^T)$, 也就是$b-Ax\perp C(A)$, 恰好和上节呼应.

若$A^{T}A$可逆, 则$x=(A^{T}A{)}^{-1}{A}^{T}b$, 即$p=A(A^{T}A{)}^{-1}{A}^{T}b$, 投影矩阵$P=A(A^{T}A{)}^{-1}{A}^T$.
若$A$也可逆, 则$b\in C(A)$, $Proj(b)=b$, 通过计算也可得到$P=I$.
且$P^T=P$
$P^2=P$ (几何上, 投影两次和投影一次没区别)