子空间与正交投影

最近需要用子空间、正交投影的概念,找了些资料,理解了相关概念,整理如下。
子空间和子空间的基
    定义所有 n 维复向量的集合为 n 维复向量空间,即 Cn 。如果令 m<n ,则 m n 维复向量的子集合便构成 Cn 内的一个 向量子空间
    若 S={u1,u2,,um} 是向量空间 Cn 的向量子集合,则 u1,u2,,um 的所有线性组合的集合 W 称为 u1,u2,,um 张成的子空间,定义为
W=Span{u1,u2,,um}={u:u=a1u1+a2u2++amum}
    张成子空间 W 的每个向量称为 W 生成元,而所有生成元组成的集合 {u1,u2,,um} 称为子空间的 张成集。从向量集合 S={u1,u2,,um} 中删去与其他向量线性相关的所有多余向量,余下的 P 个线性无关的向量 {u1,u2,,up} 仍然可以张成子空间 W
    如果向量子空间 W 由向量 u1,u2,,up 张成,即 W=Span{u1,u2,,up} ,且向
量集合 B=Span{u1,u2,,up} 是线性无关的集合,则向量集合 {u1,u2,,up} 可称为 W 一组基
    张成子空间 W 的基向量的个数称为子空间 W 维数,子空间 W 的基不唯一,虽然子空间 W 的基可以由多种不同的向量合成,但子空间 W 的维数是固定的。
     对于子空间,可以这样理解:二维空间中的线是其子空间,三维空间中的面、线是三维空间的子空间。
子空间的直和
    两个子空间的代数关系由两个子空间的向量之间的关系刻画。子空间 S1,S2,,Sn 共同拥有的向量组成的集合 S1S2Sn 称为子空间 S1,S2,,Sn 的交集。若这些子空间共同的唯一向量为零向量, S1S2Sn={0} ,则称 子空间无交连。无交连的子空间的并 S1S2Sn 称为 子空间的直和,即
S=S1S2Sn
矩阵的列空间
    对于矩阵 ACn×m ,其 m 个列向量记为
a1=a11a21an1,a2=a12a22an2,,am=a1ma2manm
    如果 A=[a1,a2,,am]Cn×m 是复矩阵。可以定义矩阵 A 列空间为其列向量的所有线性组合的集合, 用符号 Col(A) 表示,如下
Col(A)=Span{a1,a2,,am}={yCn:y=j=1mαjaj,αjC}
     列空间是针对矩阵 A 本身定义的向量子空间,矩阵 A 的列空间就是矩阵 A 的值域。矩阵 A 的值域(Range)定义为
Range(A)={yCn:y=j=1mαjaj,αjC}=Span{a1,a2,,am}
    因此
Range(A)=Col(A)=Span{a1,a2,,am}
     所以看到一个矩阵,就可以想象它背后代表着一个子空间,这个子空间由其列向量张成。
投影算子
    定义向量空间 Cn 内的直和分解 Cn=SH ,其中任意向量 xCn 。若 x=x1+x2 满足 x1S x2H ,并且 x1 x2 是唯一确定的,则称映射 Px=x1 是向量 x 沿着子空间 H 的方向,到子空间 S 投影,并称 P 是沿着子空间 H 的方向,到子空间 S 投影算子,常简记为 PSH
    由定义易知,投影算子 P 是线性齐次算子,并且在 Px=x1 的情况下,满足 x=x1+x2 x2 x2=xPx=(IP)x 唯一的确定。因此,利用投影算子,向量空间 Cn 中任意向量 x 都可以唯一分解为:
x=Px+(IP)x
    这表明,若 P 是沿着子空间 H 到子空间 S 的投影算子,则 (IP) 就是沿着子空间 S 到子空间 H 的投影算子。
     线性齐次算子 P 是投影算子,当且仅当 P 是幂等矩阵,即
P2=P
    注意上面的定义,并没有保证 x1 x2 相互正交。
正交投影算子
    在许多实际的应用中,常要求向量空间 Cn 的任何向量 x 在两个子空间的投影正交,这就要求子空间 H 是子空间 S 的正交补。 沿着正交补 S 的方向,到子空间 S 的投影算子 PS/S 称为正交投影算子。
     线性齐次算子 P 是正交投影算子,当且仅当满足以下两个条件:线性算子是幂等算子,即 P2=P ,且具有复共轭对称性,即 PH=P
    令 A n×m 维矩阵,其中 A 是列满秩, rank(A)=m 。针对由矩阵 A 的列向量为基张成的空间 A 正交投影定义为
P=A(AHA)1AH
其中, ()H 为矩阵的共轭转置。
     A 非列满秩,则上面的逆用伪逆代替。
     从方程的角度来看,正交投影矩阵可以如下理解:方程 Ax=b 的最小二乘解 x^ 满足
Ax^=Pb⃗ =p⃗ 
b⃗ =p⃗ +e⃗ 
解释如下:
     An×m 代表一个行数 n 大于列数 m (所以才涉及最小二乘解)的矩阵,正如上面所说,这个矩阵其实就是 Cn 空间的一个子空间,犹如二维空间平面里的一条直线;而 b 则代表 Cn 空间的任意一点; x 表示怎样对 A 的列向量进行组合来实现逼近 b x 就是逼近系数或组合系数。
    由于 b 不一定恰好在 A 的子空间里,即直线上,所以理论上 x 可能没有精确解,故退而求其次,我们 寻求在 A 的子空间里找离 b 最近的点,直线上离线外一点最近的点就是点垂直投影的位置,即正交投影点 p ,而此投影点的求取方法就是
p⃗ =Pb⃗ 
P=A(AHA)1AH
而此投影点所对应的矩阵 A 的列向量组合系数就是 x^ ,即 x 的估计值:
Pb⃗ =p⃗ =Ax^
x^=(AHA)1AHb⃗ 
    相应的 误差向量
e⃗ =b⃗ p⃗ 
它代表了拟合的误差。可认为是这个正交于 A 子空间的子空间是 误差空间或噪声空间,正是由于噪声的存在,使测量点不能完美落在 A 的子空间上。
    这就是从矩阵投影角度来解释最小二乘法,贴一张MIT线性代数公开课讲投影的截图吧(推荐看看,讲的很清楚)。讲师说明白了子空间的概念就等于掌握了线性代数一半的理论,确实,有了子空间的概念,线性方程、最小二乘瞬间成为很自然的东西。


你可能感兴趣的:(数学基础)