矩阵论(三)——矩阵分解

1. 常见的矩阵标准形与分解

1.1 三角分解

等价标准形：
$A\in C^{n\times n}，\exists 可逆P\in C^{m\times m},Q\in C^{n\times n}$，使$A=P\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]Q$

相似标准形：
$A\in C^{n\times n}，\exists 可逆P\in C^{n\times n}$，使$A=P\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]P^{-1}$或$A=P{J}_A{P}^{-1}$

$A\in R^{n\times n},A^T=A，则\exists 正交P(P^{T}P=I)$，使$P^{T}AP=C^{-1}AC=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$

设$U=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ & a_{21}& \cdots & a_{2n}\\ & & \ddots & ⋮\\ & & & a_{nn}\end{array}\right]$为上三角矩阵，$L=\left[\begin{array}{cccc}{a}_{11}& & & \\ a_{21}& a_{22}& & \\ ⋮& ⋮& \ddots & \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$为下三角矩阵
LU分解： $A=LU$
LDV分解： $A=LDV$，其中V的对角线元素全为1，D是对角矩阵

下三角可逆矩阵P，使$PA=U\Rightarrow A=P^{-1}U$
A的三角分解方法：
1. 对A作初等行变换，$(A,I)=(U,P)$
2. $L=P^{-1}$，$(P,I)=(I,P^{-1})$
3. U = DV，其中D=diag(U), V是对U的对角线元素归一化后的矩阵

例如：

A有唯一LDV分解

$⟺$
A的顺序主子式${\Delta }_k=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1k}\\ a_{21}& \cdots & a_{2k}\\ ⋮& & ⋮\\ a_{k1}& \cdots & a_{kk}\end{array}\right|\ne 0，k=1,2,\cdots ,n-1；{\Delta }_0=1$
其中$D=\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\end{array}\right]，d_k=\frac{{\Delta }_k}{{\Delta }_{k-1}}；k=1,2,\cdots ,n$

$A=(a_{ij})\in F^{n\times n},rank(A)=k(k\le n),A的顺序主子式{\Delta }_j\ne 0,j=1,2,\cdots ,k$，则A有LU分解
不是所有的矩阵都有LU分解，例如$A=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$

可逆矩阵$A\in F^{n\times n}$，则A有LU分解$⟺$A的所有顺序主子式${\Delta }_k\ne 0,k=1,2,\cdots ,n-1$

例如：

设A的LU分解为$A=LU$，则$AX=b⟺LUX=b⟺\{\begin{array}{l}LY=b\\ UX=Y\end{array}$

例如：

1.2 满秩分解

满秩分解： $A\in F^{m\times n},rank(A)=r，若\exists 秩为r的矩阵B\in F^{m\times r},C\in F^{r\times n}，使A=BC$
任何非零矩阵$A\in F^{m\times n}$，都存在满秩分解。A的满秩分解一般不惟一
求满秩分解方法：

方法3

Hermite标准形：
例如：
$A=\left[\begin{array}{ccc}1& 1& 2\\ 0& 2& 2\\ 1& 0& 1\end{array}\right]$，求A的满秩分解
解：
$A=\left[\begin{array}{ccc}1& 1& 2\\ 0& 2& 2\\ 1& 0& 1\end{array}\right]\to \left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ 0& 0& 0\end{array}\right]\Rightarrow rank(A）=2$
则$B=\left[\begin{array}{cc}1& 1\\ 0& 2\\ 1& 0\end{array}\right],C=\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\end{array}\right],A=BC$

1.3 谱分解

谱： 方阵A的所有互异特征值得集合
谱分解： $A=\sum _{i=1}^s{\lambda }_i{P}_i$，即可对角化矩阵可分解为s个方阵$P_i$的加权和
分解过程如下：

幂等矩阵： $P^2=P$
性质：
$P^H$和$(I-P)$仍是幂等矩阵
\quad P的特征值为1或者是0，而且P可相似于对角矩阵
$F^n=N(P)⨁R(P)$

$A\in C^{n\times n}$，A可对角化 $⟺A={\sum }_{i=1}^s{\lambda }_i{P}_i$

其中${\lambda }_i$为A的谱，$P_i\in C^{n\times n}$ 满足
$1.P_i^2=P_i,i=1,2,\cdots ,s$
$2.P_i{P}_j=0,i\ne j$
$3.\sum _{i=1}^s{P}_i=I_n$

半正定Hermite矩阵： $A\in F^{n\times n},A^H=A,\forall x\in F^n，有x^{H}AX\ge 0$，则称A为半正定的。即
A为半正定的 $⟺$ A的特征值为非负实数

$A\in F^{n\times n}$是半正定的Hermite矩阵，$rank(A)=k$，则$A=v_1{v}_1^H+v_2{v}_2^H+\cdots +v_k{v}_k^H$
$v_i\in F^n,\{v_1,v_2,\cdots ,v_k\}$是空间$F^n$中非零的正交向量组

2. Schur分解与正规矩阵

2.1 Schur分解

正交(酉)相似： $A,B\in R^{n\times n},\exists 正交(酉)矩阵U，使U^{T}AU=B(U^{H}AU=B)$，则称A正交(酉)相似于B

UR分解： $A\in C^{n\times n},|A|\ne 0$，则存在酉矩阵$U\in C^{n\times n}$及主对角线上全为正的上三角阵
$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1n}\\ & r_{22}& \cdots & r_{2n}\\ & & \ddots & ⋮\\ & & & r_{nn}\end{array}\right],r_{ii}>0$，使$A=UR$

UR分解求解步骤：
1. 取A的列向量记为$A_1,\cdots A_n$
2. 对$A_1,\cdots A_n$使用gram-schmidt正交化，得到标准正交向量组U
3. 根据$A=UR$求出R，使用初等行变换：$(U|A)\to (E|R)$

例如：

QR分解：
$A\in C^{m\times k}$是一个列满秩(列向量组线性无关)的矩阵，即$rank(A)=k$，则A可被分解为$A=QR$。
其中Q为列规范矩阵(列向量两两正交且为单位向量)，R是可逆的上三角矩阵

QR分解求解步骤：
1. 取A的列向量记为$A_1,\cdots A_n$
2. 对$A_1,\cdots A_n$使用gram-schmidt正交化，得到标准正交向量组Q
3. 根据$A=QR$求出R，使用初等行变换：$(Q|A)\to (E|R)$

Schur分解： $A\in C^{n\times n}$，存在酉矩阵U和上三角矩阵T，使得$U^{H}AU=T=\left[\begin{array}{cccc}{\lambda }_1& t_{12}& \cdots & t_{1n}\\ & {\lambda }_2& \cdots & t_{2n}\\ & & \ddots & ⋮\\ & & & {\lambda }_n\end{array}\right]$
其中${\lambda }_i$为矩阵A的特征值，$i=1,2,\cdots ,n$

Schur分解求解步骤：
1. 当不存在Jordan矩阵$J_A$和可逆矩阵P，使$J_A=P^{-1}AP$时，需要求Jordan矩阵$J_A$和可逆矩阵P。求解步骤见Jordan标准形计算步骤
2. 取P的列向量记为$({\alpha }_1,\cdots {\alpha }_n)$
3. 对$({\alpha }_1,\cdots {\alpha }_n)$使用gram-schmidt正交化，得到标准正交向量组U
4. 根据$P=UR$求出R，使用初等行变换：$(U|P)\to (E|R)$
5. 令$T=R{J}_A{R}^{-1}$，即得$U^{H}AU=T$

2.2 正规矩阵

正规矩阵：
$A\in R^{n\times n}，A^{T}A=A{A}^T;A\in C^{n\times n}，A^{H}A=A{A}^H$
对角矩阵、Hermite矩阵、反Hermite矩阵($A^H=-A$)、酉(正交)矩阵、实对称矩阵均为正规矩阵
复对称矩阵不是正规的，例如$A=\left[\begin{array}{cc}1& i\\ i& -1\end{array}\right],A^H=\left[\begin{array}{cc}1& -i\\ -i& -1\end{array}\right],但A^{H}A\ne A{A}^H$

例如：
$A\in C^{n\times n}$是正规矩阵 $⟺$ A酉相似于对角矩阵，即$\exists U\in C^{n\times n},U^{H}AU=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$

$A\in C^{n\times n}$是正规矩阵 $⟺$A有n个线性无关的特征向量构成空间$C^n$的标准正交基

$A\in F^{n\times n}$，若A是正规矩阵，则A必有n个线性无关的特征向量，且不同特征值对应的特征向量线性无关

正规矩阵谱分解求解步骤：
1. 通过$A^{H}A=A{A}^H$判断A是否是正规矩阵
2. 求A的特征值，$|\lambda I-A|=(\lambda -{\lambda }_1)\cdots (\lambda -{\lambda }_n)=0$
3. 求A的对应的线性无关的特征向量：${ϵ}_1,\cdots ,{ϵ}_n$
4. 将${ϵ}_1,\cdots ,{ϵ}_n$标准正交化，得到$u_1,\cdots ,u_n$
5. 令$U=(u_1,\cdots ,u_n)$，即得$U^{H}AU=diag({\lambda }_1,\cdots ,{\lambda }_n)$

正交矩阵的谱分解： $A\in C^{n\times n},\lambda (A)=\{{\lambda }_1,\cdots ,{\lambda }_n\}$，则
A是正规矩阵 $⟺$ A有如下谱分解，$A=\sum _{i=1}^s{\lambda }_i{P}_i,p_i\in C^{n\times n}$，
其中$$\begin{gathered} P_i^2=P_i,P_i^H=P_i,i=1,\cdots ,n \\ {P}_i{P}_J=0,i\ne j \\ {I}_n=\sum _{i=1}^s{P}_i \end{gathered}$$
例如：
$A=\left[\begin{array}{ccc}0& -1& i\\ 1& 0& 0\\ i& 0& 0\end{array}\right]$，求酉矩阵U和A的谱分解，使$U^{H}AU=\wedge$
解：
酉矩阵U：$$\begin{gathered} A^{H}A=A{A}^H \\ |{\lambda }_I-A|=\lambda ({\lambda }^2+2)=0\Rightarrow {\lambda }_1=\sqrt{2}i,{\lambda }_2=-\sqrt{2}i,{\lambda }_3=0 \\ 对应的特征向量{ϵ}_1=(\sqrt{2},-i,1{)}^T,{ϵ}_2=(-\sqrt{2},-i,1{)}^T,{ϵ}_3=(0,-1,i{)}^T \\ 将{ϵ}_1，{ϵ}_2，{ϵ}_3正交化，u_i=\frac{{ϵ}_i}{||{ϵ}_i||}得 \\ {u}_1=(\frac{\sqrt{2}}{2},-\frac{i}{2},\frac{1}{2}{)}^T，u_2=(-\frac{\sqrt{2}}{2},-\frac{i}{2},\frac{1}{2}{)}^T，u_3=(0,-\frac{1}{\sqrt{2}},-\frac{i}{\sqrt{2}}) \\ 令U=(u_1,u_2,u_3)，则U为酉矩阵，且U^{H}AU=diag(\sqrt{2}i,-\sqrt{2}i,0) \end{gathered}$$
\newline
A的谱分解：$\begin{array}{rl}A& =(u_1,u_2,u_3)\left[\sqrt{2}i\left(\begin{array}{ccc}1& & \\ & 0& \\ & & 0\end{array}\right)-\sqrt{2}i\left(\begin{array}{ccc}0& & \\ & 1& \\ & & 0\end{array}\right)+0\left(\begin{array}{ccc}0& & \\ & 0& \\ & & 1\end{array}\right)\right]\left(\begin{array}{c}{u}_1^H\\ u_2^H\\ u_3^H\end{array}\right)\\ & =\sqrt{2}i{u}_1{u}_1^H-\sqrt{2}i{u}_2{u}_2^H+0u_3{u}_3^H\end{array}$

3. 矩阵的奇异值分解

3.1 矩阵的奇异值及其性质

$\forall A\in C^{m\times n}$，有$A^{H}A\in C^{n\times n}，A{A}^H\in C^{m\times m}$，且$A^{H}A，A{A}^H$均为Hermite矩阵

设$A\in C^{m\times n}$，则
  秩(A) = 秩($A^{H}A$) = 秩($A{A}^H$)
  $A^{H}A与A{A}^H$的非零特征值相等，其特征值为非负实数
  $A^{H}A与A{A}^H$均为半正定矩阵，当秩(A)=n时，$A^{H}A$为正定的

奇异值： 设$A\in C^{m\times n}$，秩(A) = r > 0，矩阵$A^{H}A$的特征值为
${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>0,{\lambda }_{r+1}=\cdots ={\lambda }_n=0($矩阵$A^{H}A$的特征值为${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_r>0,{\lambda }_{r+1}=\cdots ={\lambda }_n=0)$
称正数${\sigma }_i=\sqrt{{\lambda }_i}(i=1,\cdots ,r)$为A的奇异值
奇异值的求法：
$A\in C^{m\times n}$，求$A^{H}A$的特征值：${\lambda }_1\ge \cdots \ge {\lambda }_r>0$，即得${\sigma }_i=\sqrt{{\lambda }_i}$

$A\in C^{n\times n}$为正规矩阵，则A的奇异值为A的非零特征值的模，即$\sigma =|\lambda |,\lambda \in \lambda (A)$
$A\in C^{n\times n}$为正定的Hermite矩阵时，A的奇异值为A的特征值
酉等价： $\exists B\in C^{m\times n}，酉矩阵U\in C^{m\times m},V\in C^{n\times n}，使UAV=B$
酉等价的矩阵A，B具有相同的奇异值。

3.2 矩阵的奇异分解(SVD)

矩阵的谱分解是奇异分解的特例，因为谱分解的前提是正规矩阵，然后奇异分解针对的是一般情况。

$\forall A\in C^{m\times n}，秩(A)=r>0,{\sigma }_1\ge \cdots \ge {\sigma }_r$为A的奇异值，则存在酉矩阵$U\in C^{m\times m},V\in n\times n$，使
$$A_{m\times n}=U_{m\times m}{\left(\begin{array}{cc}{\Delta }_r& \\ & 0\end{array}\right)}_{m\times n}{V}_{n\times n}^H，其中{\Delta }_r=\left(\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right)$$
A的奇异值分解不唯一
$A\in C^{m\times n},U=(u_1,\cdots ,u_m)\in C^{m\times m},V=(v_1,\cdots ,v_n)\in C^{n\times n}$，则
$A=U\Sigma V^H=(u_1,\cdots ,u_m)\left(\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_r& \\ & & & 0\end{array}\right)\left(\begin{array}{c}{v}_1^H\\ ⋮\\ v_n^H\end{array}\right)={\sigma }_1{u}_1{v}_1^H+\cdots +{\sigma }_r{u}_r{v}_r^H$

左奇异向量： $U=\{u_1,u_2,\cdots ,u_r\}$

右奇异向量： $V=\{v_1,v_2,\cdots ,v_r\}$

$A\in C^{m\times n}$，A的奇异值${\sigma }_1\ge \cdots \ge {\sigma }_r>0$，则$A={\sigma }_1{u}_1{v}_1^H+\cdots +{\sigma }_r{u}_r{v}_r^H$

$A^{H}A=A{A}^H⟺{\Sigma }_{i=1}^n|{\lambda }_i{|}^2\le tr(A^{H}A)=tr(A{A}^H)={\Sigma }_{i=1}^n{\sigma }_i^2$

求A的SVD步骤：
1. 求$A^{H}A$的特征值：${\sigma }_1{}^2\ge \cdots \ge {\sigma }_r{}^2，{\sigma }_{r+1}{}^2=\cdots ={\sigma }_n{}^2=0$
$A^{H}A$对应线性无关的特征向量：${ϵ}_1,\cdots ,{ϵ}_r,\cdots ,{ϵ}_n$
2. 将${ϵ}_1,\cdots ,{ϵ}_r,\cdots ,{ϵ}_n$标准正交化：$v_1,\cdots ,v_n$，取$V=(v_1,\cdots ,v_n)$
3.  令$u_i=\frac{1}{{\sigma }_i}A{v}_i，i=1,\cdots ,r$，将$u_1,\cdots ,u_r$扩充为$c^m$的标准正交基$u_1,\cdots ,u_m$，令$U=(u_1,\cdots ,u_m)$即得
$A=U\left(\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_r& \\ & & & 0\end{array}\right)V^H$

注：
$A^{H}A=V{\left(\begin{array}{cc}{\Delta }_r{}^2& \\ & 0\end{array}\right)}_{n\times n}{V}^H$
$A{A}^H=U{\left(\begin{array}{cc}{\Delta }_r{}^2& \\ & 0\end{array}\right)}_{m\times m}{U}^H$

例如：