机器学习笔记_数学基础_5-矩阵理论

矩阵分解

• Guass消去： 高斯消去可以充分进行的充分必要条件是A的前n-1个顺序主子式都不为零
  △k≠0,k=1,2,,⋯,n−1
• 矩阵三角分解（Guass消去的推广）

• QR分解(正交三角分解)
  实非奇异矩阵A分解为正交矩阵Q和实非奇异三角矩阵R的乘积

奇异值分解

• 若A是n阶实对称矩阵，则存在正交矩阵Q，使得
  QTAQ=diag(λ1,⋯,λn)

• A是非奇异矩阵(满秩矩阵)，且A不是对称阵，则存在正交矩阵P和Q，使得 => A的正交对角分解

  QT(ATA)Q=diag(σ1,⋯,σn)
  => A=P∗diag(σ1,⋯,σn)∗QT
  其中 σ2i 是 ATA的特征值

• 令A属于 Cm∗nr,r>0； (r表示A的秩); ATA 的特征值是
  λ1≥λ2≥⋯≥λr>λr+1=λr+2=⋯=λn=0
  称 σi=λi−−√ ,为A的奇异值

• A属于 Cm∗nr,r>0； (r表示A的秩); 则存在m阶酉矩阵(正交矩阵) U 和n阶酉矩阵(正交矩阵)

  UHAV=[Σ000]

证明(实矩阵情况)

=> 令 ATA 的特征值是：

=> λ1≥λ2≥⋯≥ =>\quad λr>λr+1=λr+2=⋯=λn=0

=> 存在n阶正交矩阵V，使得

=> VT(ATA)V=⎡⎣⎢⎢λ1⋱λn⎤⎦⎥⎥=[Σ2000](1)

=> 令V分块

=> V=[V1|V2] V1∈Cn∗rrV2∈Cn∗(n−r)n−r

=> 则式(1)为 (正交矩阵 ATA=I )

=> ATAV=V[Σ2000]

=> ATAV1=V1Σ2,ATAV2=0

=> VT1ATV1=Σ2或者(AV1Σ−1)T(AV1Σ−1)=I

=> (AV2)T(AV2)=0或者(AV2=0)

=> 令 U=AV1Σ−1 , 则 UT1U1=Ir ; U1 是r个两两正交的单位向量
记 U1=(u1,⋯,ur) , 将 u1,⋯,ur扩充为Cm 的标准正交基，及增添向量 ur+1,⋯,um => U2=(ur+1,⋯,um)

=> U=[U1|U2]=(u1,⋯,ur,ur+1,⋯,um)

=> U是m阶正交矩阵 且 UT1U1=I,UT2U1=0

=> UTAV=UT[AV1|AV2]=[UT1UT2][U1Σ|O]=[UT1U1ΣUT1U2Σ00]=[Σ000]

证明完毕

<=> A=U[Σ000]VT

• 例题：求矩阵 A=⎡⎣⎢100010110⎤⎦⎥ 的奇异值分解

解：
=> B=ATA=⎡⎣⎢101011112⎤⎦⎥ 的特征值是 λ1=3,λ2=1,λ3=0 , 且对应的特征向量是

ξ1=⎡⎣⎢112⎤⎦⎥ ; ξ2=⎡⎣⎢1−10⎤⎦⎥ ; ξ3=⎡⎣⎢11−1⎤⎦⎥

=> rankA=2, Σ=[3√001]

=> 正交阵V是（ ATA 特征向量的单位化）

V=⎡⎣⎢⎢⎢⎢16√16√26√12√−16√013√13√−13√⎤⎦⎥⎥⎥⎥

=> U1=AV1Σ−1=⎡⎣⎢⎢⎢12√12√012√−12√0⎤⎦⎥⎥⎥

=> 构造 U2=⎡⎣⎢001⎤⎦⎥

U=[U1|U2]=⎡⎣⎢⎢⎢12√12√012√−12√0001⎤⎦⎥⎥⎥

=> A的奇异值分解是

A=U⎡⎣⎢3√00010000⎤⎦⎥VT