MIT_Linear_Algebra_lec15：投影到子空间
Lecture 15: Projection onto Subspaces
MIT 公开课：Gilbert Strang《线性代数》课程笔记（汇总
投影
为什么投影
当 A x = b Ax = b Ax=b 无解时，而 A x = p Ax = p Ax=p 有解
（其中p是b向A的列空间投影得到的向量）
- 解释：当b不在A的列空间中，那么我们就把b投影到A的列空间中
投影过程
一维情况
b b b 投影到 a a a 上， 在 a a a 上的分量就是 p p p
-
p p p 与 a a a 同方向。
p = x a , x ∈ R p = xa,x ∈ R p=xa,x∈R -
注意这里有一个直角。根据直角可以得到 e e e与 a a a正交，由此可以得到x。
a T ( b − x a ) = 0 a^T(b -xa ) = 0 aT(b−xa)=0
∴ x = a T b / a T a ， p = a ( a T b / a T a ) ∴x = a^Tb/ a^Ta，p = a(a^Tb/ a^Ta) ∴x=aTb/aTa，p=a(aTb/aTa)
p = P b = ( a a T / a T a ) b p = Pb = (aa^T/a^Ta)b p=Pb=(aaT/aTa)b
投影矩阵
P P P 是投影矩阵，作用于 b b b 上，让 P b Pb Pb 成为 a a a 方向的投影, 即 x a = f ( b ) = P b xa = f(b) = Pb xa=f(b)=Pb。
性质
P T = P , P 2 = P （ p 再 在 a 上 的 投 影 还 是 自 己 ） P^T = P, P^2 = P（p再在a上的投影还是自己） PT=P,P2=P（p再在a上的投影还是自己）
二维情况
A A A 的列空间是 [ a 1 , a 2 ] [a_1, a_2] [a1,a2]
-
p = x 1 a 1 + x 2 a 2 = A x p = x_1a1 + x_2a2 = Ax p=x1a1+x2a2=Ax，p是在A的列空间中的。
-
p 与 a 1 , a 2 正 交 p与a_1,a_2正交 p与a1,a2正交
a 1 T ( b − A x ) = 0 , a 2 T ( b − A x ) = 0 a_1^T(b - Ax) = 0, a_2^T (b - Ax) = 0 a1T(b−Ax)=0,a2T(b−Ax)=0
[ a 1 T a 2 T ] ( b − A x ) = [ 0 0 ] \left[ \begin{matrix} a_1^T \\ a_2^T \\ \end{matrix} \right] (b - Ax) = \left[ \begin{matrix} 0 \\ 0 \\ \end{matrix} \right] [a1Ta2T](b−Ax)=[00] -
A T ( b − A x ) = 0 A^T(b - Ax) = 0 AT(b−Ax)=0
∴ x = ( A T A ) − 1 A T b , P = A ( A T A ) − 1 A T ∴ x = (A^TA)^-1A^Tb, P = A(A^TA)^-1A^T ∴x=(ATA)−1ATb,P=A(ATA)−1AT
注意： A T A A^TA ATA不一定有逆矩阵， A A A不一定有逆矩阵;
r( A T A A^TA ATA) = r( A A A),且零空间一致