2 矩阵的分解

2. 矩阵的分解

矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积或加和的过程，可分为三角分解、满秩分解、QR分解、Jordan分解、SVD（奇异值）分解和谱分解等，其中三角分解(LU分解)是高斯消元法的另一种表现形式，在本科的线性代数里已经被我们用烂了，Jordan分解在上一章线性代数引论“求Jordan标准形”里已经介绍。这一章只介绍QR分解、满秩分解、SVD（奇异值）分解和谱分解。

2.1. QR分解

• 描述
  A=QR
  A是满秩方阵，Q是正交矩阵，R是上三角阵，分解唯一
  A=UR(把正交矩阵换成酉矩阵也一样)
  如果A只是列满秩，( Am×n,n≤m , 秩为n)那么
  Am×n=Qm×nRn×n , Q只要满足n个列向量标准正交即可，R还是上三角阵

• QR分解步骤

  1. 求r(A)判断A是否满秩
  2. 按列分块 A=(x1,x2,x3) ，正交化为 y1,y2,y3 , 单位化为 z1,z2,z3
  3. 令
     
     Q=(z1,z2,z3)
     
     
     R=⎛⎝⎜||y1||00(x2,z1)||y2||0(x3,z1)(x3,z2)||y3||⎞⎠⎟
  4. 最后，A=QR

• scipy代码演示
  

2.2 满秩分解

• 描述
  任一矩阵可分解为一个列满秩与行满秩矩阵的乘积，但分解不唯一
  Am×n=Fm×rGr×n (A的秩为r)

• 满秩分解方法

  1. 经初等行变换化为简化阶梯型
     
  2. 取H中是单位向量的列的序号，找出A中对应序号的列组成F
  3. 取H中的非0行（前r行）作为G
  4. 最后，A=FG

2.3 奇异值分解

• 描述

  • 奇异值：复矩阵 Arm×n (秩为r)， AHA 有n个特征值，按从大到小的顺序排列，保证 λ1≥λ2≥...≥λn ，有前r个为正，后n-r个为0，称 σi=λi−−√ 为A的奇异值，前r个 σ1≥σ2≥...≥σr 为正奇异值。
  • 奇异值分解： A=USVH
    Arm×n=Um×mSm×nVHn×n
    其中，U和V为酉矩阵(见上一章)，S为A的奇异值组成的对角阵，前r个为正奇异值，后n-r个全为0
    
    A=U(Sr000)VH

• 奇异值分解步骤：

  1. 计算 AHA 的n个特征值并按从大到小排序得到 λi(i=1...n) , 取平方根得到奇异值 σi
  2. 计算这n个特征值 λi 对应的特征向量 αi ，并schmidt正交化，得到标准正交特征向量 α1,α2,…αr,αr+1,…,αn 。令 V1=(α1,…αr),V2=(αr+1,…,αn),V=(V1,V2) ;令 Sr=diag(σ1,…σr)，(σ1≥σ2≥...≥σr)
  3. 计算 U1=(β1,…βr)=AV1S−1r
  4. 求出 N(AH) 的一组标准正交基 βr+1,…βm (即求 AH 齐次方程组的一组基础解系，也需要schmidt正交化)。令 U2=(βr+1,…βm),U=(U1,U2) , 则
     
     A=U(Sr000)VH

• scipy演示代码
  

2.4 谱分解

• 描述
  N阶方阵 An×n 的n个特征值称为A的谱（谱分解是对于单纯矩阵而言的）

• 谱分解步骤：

  1. 以A的线性无关的特征向量为列组成矩阵P，将P按列分块 P=(X1,X2,…,Xn)
  2. 求 P−1 , 将 P−1 按行分块 P−1=(Y1,Y2,…,Yn)T
  3. 则A的谱分解为
     A=λ1X1Y1+λ2X2Y2+…+λkXkYk
     或
     A=λ1G1+λ2G2+…+λkGk
     其中， Gi=XiYi , 这里的 Gi 是幂等矩阵, 且有如下性质: Gi 两两正交，所有 Gi 的和为 In

• 特殊情况
  若A是正规矩阵( AHA=AAH )，则上述的 Gi 为幂等厄米特阵，A酉相似于对角阵，那么，将U按列分块
  U=(X1,X2,…,Xn) , 取 Gi=XiXHi 即可！

2.5 补充：幂等阵

• 描述
  幂等阵： A∈Cn×n , 若满足 A2=A , 则称A为幂等阵。

• A为幂等阵的等价命题

  1. 与A相似的任意矩阵也是幂等阵；
  2. AH,AT,A∗，I−AH，I−AT 都是幂等阵
  3. Ak 是幂等阵, k∈N

• 幂等阵的主要性质：

  1. 幂等阵的特征值只可能是0，1；
  2. 幂等阵可对角化；
  3. 幂等阵的迹等于幂等阵的秩，即tr(A)=rank(A)；
  4. 可逆的幂等阵为I；
  5. 零方阵和单位矩阵都是幂等阵；
  6. 幂等阵A满足：A(I-A)=(I-A)A=0；
  7. 幂等阵A有Ax=x的充要条件是x∈R(A)；
  8. A的核空间N(A)等于I-A的像空间R(I-A), 且N(I-A)=R(A)。　

• 幂等阵的运算：
  设 A1,A2 都是幂等阵

  1. A1+A2 为幂等阵的充分必要条件为： A1A2=A2A1=0 且有：
     R(A1+A2)=R(A1)⊕R(A2) ；(⊕表示直积)
     N(A1+A2)=N(A1)∩N(A2) ；
  2. A1−A2 为幂等阵的充分必要条件为： A1A2=A2A1=A2 且有： R(A1−A2)=R(A1)∩N(A2) ；
     N(A1−A2)=N(A1)⊕R(A2) ；
  3. 若 A1A2=A2A1 ，则 A1A2 为幂等阵，且有：
     R(A1A2)=R(A1)∩R(A2) ；
     N(A1A2)=N(A1)+N(A2) 。