Linear Algebra - Lesson 15. 子空间投影

Schedule

• Projection
• Least Squares
• Projection Matrix

Projection - 投影

假设 a,b 是不共线的两个向量,对应的投影向量记作 p ,将 b−p 记做 e ,则 p=xa .
可以得知 a 与 e 垂直(perpendicular),则 aTe=aT(b−p)=0 .
由上述方程可以得出

aTe=aT(b−p)=aT(b−xa)=0→xaTa=aTb→x=aTbaTa

p=ax→p=aaTbaTa

如果 b 翻倍,则 p 跟着翻倍; 如果 a 翻倍,则 p 不会发生变化.
所以投影矩阵 P 作用于 b ,使得 p=Pb ,从而得出 P=aaTaTa
如果 a 是一个 n 维矩阵,则 P 是一个 n×n 的方阵.
因为矩阵与向量的乘积构成矩阵的列空间,所以 Pb=p=ax ,则 P 的列空间是通过 a 的一条线 C(P)= line though a. rank(P)=1

P 是对阵的么? 答案是对阵的,即 PT=P
同时,如果对 p 再进行一次投影,可以看出,其投影仍在 a 上,则 P2=P

下面将投影移到高维.

Why project?
Because Ax=b may have no solution.
Solve A\hat x=p instead , p is the projection of b onto col space.\hat x is the best possible.

假设三维空间中有个平面,有个不在平面内的向量 b , 现在想让 b 投影在平面上形成 p .
该平面由平面的两个基 a1,a2 进行表示,从而该平面可以表示为 A 的列空间,即 A=[a1a2] , b 并不在 A 的列空间中.从而将问题转换为 p=Ax^ , 找出 x^ .
e=b−p→ e is perpendicular to plane.
p=x^1a1+x^2a2=Ax^

关键点在于 b−Ax^ 垂直于平面.
aT1(b−Ax^)=0
aT2(b−Ax^)=0
[aT1aT2]T(b−Ax^)=[00]
AT(b−Ax^)=0→ATAx^=ATb

误差向量 e=b−Ax^ 在哪一个子空间里? 左零空间.
e in N(AT) means e⊥C(A)

ATAx^=ATb 对这个方程进行求解.
x^ 是什么? 投影是什么? 投影矩阵是什么?
x^=(ATA)−1ATb
vector p=Ax^=A(ATA)−1ATb
matrix P=A(ATA)−1AT
这里如果将 A(ATA)−1AT 进行分解的话,可以看出最后分解出的结果是个单位矩阵 I : A(ATA)−1AT→AA−1(AT)−1AT=I
这并不成立,而不成立的原因是因为 A 不是可逆方阵,所以 A 不存在逆.
所以 P 只能保持上述形式,当且仅当 A 为可逆方阵时才可以进行分解.

如果 A 是一个可逆的方阵, 则 A 的列空间是整个 n 维空间, 投影矩阵将是单位阵 P=I .
但是如果投影到子空间(即 A 的列空间非整个 n 维空间),则只能保持原式.

P 是对阵矩阵 PT=P
P 的投影是自身 P2=P

Least Squares - 最小二乘法

假设 x−y 平面中存在三个点(1,1),(2,2),(3,2) 现在需要求解一条最优直线用以尽可能的接近这三个点.
假设这条最优直线是 b=C+Dt .将三个点代入,则得到如下方程式组:

C+D=1C+2D=2C+3D=2

可以一眼看出该方程式组没有直接解.

用 A 表示方程式组的系数,则可以将方程式组表示为:

Ax=⎡⎣⎢111123⎤⎦⎥[CD]=⎡⎣⎢122⎤⎦⎥=b

剩下就可以用上述的近似方法进行求解,留在下节课继续讲解.