矩阵论（四）：矩阵分解—从Schur分解、特征值分解EVD到奇异值分解SVD（下）

矩阵论专栏：专栏（文章按照顺序排序）

Schur分解、特征值分解、奇异值分解是三种联系十分紧密的矩阵分解，它们的关系是$Schur\to EVD\to SVD$，也就是说由Schur分解可以推导出EVD，再推导出SVD。本篇博客和上篇博客遵循主线$Schur\to EVD\to SVD$，且对各个矩阵分解的相关理论应用（能够解决矩阵论中的哪些问题）进行介绍。

本篇博客讨论特征值分解和奇异值分解的相关内容。上篇博客（链接）讨论的是Schur分解以及利用Schur分解能够解决的若干问题。注意，引理1-5以及定理1-15在上篇博客中。

本文内容以线性代数知识为基础（主要是特征值和相似的知识）：
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
矩阵论（零）：线性代数基础知识整理（5）——特征值与相似

• 特征值分解EVD
  • 正规矩阵与EVD
  • EVD得到矩阵的特征值和特征向量
  • EVD的构造方法
  • EVD用于求矩阵的逼近
  • 实正规矩阵的正交相似拟对角化（拓展内容）
• 奇异值分解SVD
  • SVD的存在性定理
  • SVD的构造方法（简介）
  • SVD的性质
  • SVD用于求矩阵的逼近
  • SVD在推荐系统中的应用

---

特征值分解EVD（正规矩阵）

与Schur分解不同的是，特征值分解（又叫谱分解）要求将方阵酋对角化，这比schur分解的要求更高（Schur分解只是酋相似上三角化）。实际上，只有一类特殊的方阵才能进行特征值分解，这类特殊的方阵是正规矩阵。下面介绍特征值分解EVD。

• 定义（谱分解）：设有n阶方阵A。若存在n阶酋矩阵U和对角矩阵$\Sigma$使得$A=U\Sigma U^H$，则称$A=U\Sigma U^H$是A的一个谱分解

• 定义（正规矩阵）：若n阶方阵A满足$A^{H}A=A{A}^H$，则称A是正规矩阵
  【注1】容易验证Hermite矩阵（共轭对称矩阵）、反Hermite矩阵、实对称矩阵、实反对称矩阵、酋矩阵、实正交矩阵等都是正规矩阵。正规矩阵实际上是内积空间上的正规变换在给定标准正交基下的矩阵，具体见链接。
  【注2】这里给出正规矩阵$A$的一个性质：$N(A)=N(A^H),R(A)=R(A^H)$，其中$N(\bullet ),R(\bullet )$分别表示零空间和列空间。虽然这个性质本文后面没有用到，但却是正规矩阵的一个常见性质。证明很简单：$Ax=0⟹x^H{A}^{H}Ax=0⟹x^{H}A{A}^{H}x=0⟹||A^{H}x|{|}_2^2=0⟹A^{H}x=0$，因此$N(A)=N(A^H)$，两端取正交补就有$R(A^H)=R(A)$。

• 引理6：任意一个上三角矩阵S，若S是正规矩阵，则S必然是对角矩阵
  证明：（对S的阶数n进行归纳）
  当n=1时，S本身就是对角矩阵。假定结论对n-1成立，现证明结论对n也成立。设$S=\left[\begin{array}{cc}{S}_1& b\\ 0^H& a\end{array}\right]$，其中a是一个标量，$S_1$是一个n-1阶上三角阵。计算可得$S^{H}S=\left[\begin{array}{cc}{S}_1^H{S}_1& S_1^{H}b\\ b^H{S}_1& b^{H}b+\bar{a}a\end{array}\right]$，$S{S}^H=\left[\begin{array}{cc}{S}_1{S}_1^H+b{b}^H& \bar{a}b\\ a{b}^H& a\bar{a}\end{array}\right]$，由$S^{H}S=S{S}^H$得$b^{H}b+\bar{a}a=a\bar{a}$，故$b^{H}b=||b|{|}^2=0$，故$b=0$，故$S_1{S}_1^H+b{b}^H=S_1{S}_1^H=S_1^H{S}_1$，即$S_1$是正规矩阵，由归纳假设知$S_1$是对角矩阵。则$S=\left[\begin{array}{cc}{S}_1& 0\\ 0^H& a\end{array}\right]$是对角矩阵，得证。

• 定理16：n阶复方阵A酋相似于一个对角矩阵的充要条件为A是正规矩阵
  证明：
  必要性：若A酋相似于一个对角矩阵，即存在酋矩阵U和对角矩阵$\Sigma$使得$A=U\Sigma U^H$，则$A^{H}A=U\overline{\Sigma }{U}^{H}U\Sigma U^H=U\overline{\Sigma }\Sigma U^H$，$A{A}^H=U\Sigma U^{H}U\overline{\Sigma }{U}^H=U\Sigma \overline{\Sigma }{U}^H$，注意到$\overline{\Sigma }\Sigma =\Sigma \overline{\Sigma }$，故$A^{H}A=A{A}^H$。
  充分性：设A的Schur分解为$A=PT{P}^H$，其中P是酋矩阵，T是上三角矩阵。由A是正规矩阵，将A代入$A^{H}A=A{A}^H$得$P{T}^{H}T{P}^H=PT{T}^H{P}^H$，故$T^{H}T=T{T}^H$，即上三角矩阵T是正规矩阵。于是由引理6知T是对角矩阵，故A酋相似于对角矩阵T。证毕。

EVD得到矩阵的特征值和特征向量

定理16说明仅正规矩阵可进行谱分解。在探讨谱分解有何用处之前，我们先认识一下谱分解究竟是怎样的，看看分解出来的对角矩阵是什么，以及那个酋矩阵到底是什么：

• 定理17：设正规矩阵A的谱分解为$A=U\Sigma U^H$，则$\lambda$是A的特征值的充要条件为$\lambda$在$\Sigma$的主对角线上，且A的每个特征值的代数重数等于其在$\Sigma$的主对角线上出现的次数
• 定理18：设n阶正规矩阵A的谱分解为$A=U\Sigma U^H$，且$\Sigma =diag({\lambda }_1,...,{\lambda }_n)$，$U=\left[\begin{array}{ccc}{u}_1& \cdots & u_n\end{array}\right]$，则$u_i$是A对应于特征值${\lambda }_i$的特征向量，且$u_1,...,u_n$是$C^n$的标准正交基
  证明：由$A=U\Sigma U^H$得$AU=U\Sigma$，故$A{u}_i={\lambda }_i{u}_i,i=1,...,n$，即$u_i$是A对应于特征值${\lambda }_i$的特征向量。因为U是酋矩阵，所以$u_1,...,u_n$是$C^n$的标准正交基。
  【推论】n阶正规矩阵有n个相互正交的特征向量
  【推论】n阶正规矩阵的任意特征值的几何重数与代数重数相等

上面两个定理的结论解释了“特征值分解”这个名称的来源，之所以称之为特征值分解，是因为其既分解出了特征值，还分解出了对应的特征向量。特征值分解还表明，正规矩阵的特征值和特征向量包含了原矩阵的“全部信息”，因此我们可以通过一定的方法利用特征值和特征向量重构出原矩阵。

EVD的构造方法

实际上，我们已经知道U的列向量组是A的单位正交特征向量组，那么怎么求出A的n个单位正交的特征向量呢？我们容易保证属于同一特征值的特征向量间的正交性（只要求出该特征值对应的特征子空间的标准正交基即可），但是，如何保证不同特征值的特征向量间的正交性呢？实际上，正规矩阵本身的性质就保证了这一点。下面我们就来看看正规矩阵的性质：

• 定理19：设A是正规矩阵，则$A$和$A^H$的特征值互为共轭，且$A$对应于$\lambda$的特征子空间$N(\lambda I-A)$与$A^H$对应于$\bar{\lambda }$的特征子空间$N(\bar{\lambda }I-A^H)$成立$N(\lambda I-A)=N(\bar{\lambda }I-A^H)$
  证明：
  将A谱分解得$A=U\Sigma U^H$，则$A^H=U\overline{\Sigma }{U}^H$。因为$\Sigma$和$\overline{\Sigma }$主对角线上对应的元素互为共轭，所以A和$A^H$的特征值互为共轭。又$AU=U\Sigma$，$A^{H}U=U\overline{\Sigma }$，且U的列向量组是正交向量组，所以$A$的特征子空间$N(\lambda I-A)$和$A^H$的特征子空间$N(\bar{\lambda }I-A^H)$有同一组正交基，故结论成立。
• 定理20：设A是正规矩阵，则A对应于不同特征值的特征向量是正交的
  证明：
  设$\lambda$和$\mu$是A的两个不同特征值，$x$和$y$分别是A的对应于$\lambda$和$\mu$的特征向量，即$\lambda \ne \mu ,Ax=\lambda x,Ay=\mu y,x\ne 0,y\ne 0$。由定理19知$\bar{\mu }$是$A^H$的特征值，且由$y\in N(\mu I-A),N(\mu I-A)=N(\bar{\mu }I-A^H)$知$y\in N(\bar{\mu }I-A^H)$，故$A^{H}y=\bar{\mu }y$。$$\bar{\mu }{x}^{H}y=x^H(\bar{\mu }y)=x^H{A}^{H}y=(Ax{)}^{H}y=\bar{\lambda }{x}^{H}y$$故$(\bar{\mu }-\bar{\lambda })x^{H}y=0$，由$\lambda \ne \mu$知$x^{H}y=0$，即$x$和$y$是正交的，得证。

上面的定理说明只要求出A的每个特征值的特征子空间的标准正交基，那么所有的这些基向量一定两两正交。于是，我们有如下方法来求正规矩阵的特征值分解：


注意，之所以我们构造出的矩阵U是酋矩阵，是因为U的列向量组是单位正交的（其中对应于同一特征值的特征向量两两正交，对应于不同特征值的特征向量也两两正交）。而这样的$U$一定可以保证构造出了$A$的一个谱分解：
因为$$\begin{gathered} U^{H}AU=\left[\begin{array}{c}{u}_{11}^H\\ ...\\ u_{s_{r_s}}^H\end{array}\right]\left[\begin{array}{ccc}A{u}_{11}& ...& A{u}_{s_{r_s}}\end{array}\right] \\ =\left[\begin{array}{c}{u}_{11}^H\\ ...\\ u_{s_{r_s}}^H\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1{u}_{11}& ...& {\lambda }_s{u}_{s_{r_s}}\end{array}\right]=\left[\begin{array}{ccc}{\lambda }_1{I}_{r_1}& & \\ & \ddots & \\ & & {\lambda }_s{I}_{r_s}\end{array}\right] \end{gathered}$$所以$A=U\Lambda U^H$是A的谱分解。

EVD的其他结论

谱分解还能得到其他一些有用的结论，如：

• 定理21：设n阶正规矩阵A的谱分解为$A=U\Sigma U^H$，则$r(A)=r(\Sigma )$，即A的秩等于A的非零特征值的个数（如果重特征值按重数算的话），零特征值的代数重数为$n-r(A)$
• 定理22：共轭对称矩阵A的特征值都是实数
  证：
  因A是共轭对称矩阵，故A是正规矩阵。考虑A的谱分解$A=U\Sigma U^H$，因为$A^H=A$，即$U\overline{\Sigma }{U}^H=U\Sigma U^H$，所以$\overline{\Sigma }=\Sigma$，则对角矩阵$\Sigma$的对角元都是实数，即A的特征值都是实数。

此外，类似于schur分解，谱分解也可以加快矩阵的幂运算，且效果要更好。谱分解（酋相似对角化）是相似对角化的一个特殊情形，在相似对角化中有一个计算幂的经典例子：求斐波那契数列的通项，谱分解也能用在与之类似的情形。感兴趣的读者请参考链接。

机器学习应用中，常常遇到实矩阵而非复矩阵的问题。为避免复数运算，提高效率，需尽可能熟悉实矩阵中的相关结论：

• 定理23：设$A\in R^{n\times n}$，则$A$存在谱分解$A=U\Sigma U^T$（其中$U$是实正交矩阵，$\Sigma$是实对角矩阵）的充要条件为$A$是实对称矩阵
  证明：
  充分性：实对称矩阵都是共轭对称矩阵，故A的特征值都是实数。考虑特征方程$(\lambda I-A)x=0$，由于$\lambda$是实数，$A$是实矩阵，故$\lambda I-A$是实矩阵。取$N(\lambda I-A)$的一组实向量基，根据前述谱分解的构造方法，可以构造出$A$的一个谱分解$A=U\Sigma U^T$，其中$U$是实正交矩阵，$\Sigma$是实对角矩阵。
  必要性：设$A$存在谱分解$A=U\Sigma U^T$，其中$U$是实正交矩阵，$\Sigma$是实对角矩阵，则有$A^T=(U\Sigma U^T{)}^T=U\Sigma U^T=A$。
  【注】该定理的一个等价表述为：任意实对称矩阵必可正交相似对角化。

EVD用于求矩阵的逼近

谱分解在机器学习中有重要的应用，一个典型的例子就是主成分分析（PCA）。主成分分析能够将高维数据“压缩”成低维数据，在去噪的同时还能保留原数据的大部分主要特征。PCA算法会在后面的博客中详细说，这里我们大致了解一下如何求得正规矩阵的近似矩阵，以达到去噪的效果：
设n阶正规矩阵A的特征值分解为$A=U\Sigma U^H$，且$\Sigma =diag({\lambda }_1,...,{\lambda }_n)$，$U=\left[\begin{array}{ccc}{u}_1& \cdots & u_n\end{array}\right]$。则$$\begin{array}{rl}A& =\left[\begin{array}{ccc}{u}_1& \cdots & u_n\end{array}\right]diag({\lambda }_1,...,{\lambda }_n)\left[\begin{array}{c}{u}_1^H\\ \cdots \\ u_n^H\end{array}\right]\\ & =\left[\begin{array}{ccc}{\lambda }_1{u}_1& \cdots & {\lambda }_n{u}_n\end{array}\right]\left[\begin{array}{c}{u}_1^H\\ \cdots \\ u_n^H\end{array}\right]\\ & ={\Sigma }_{i=1}^n{\lambda }_i{u}_i{u}_i^H\end{array}$$于是我们可以将原矩阵A看成是它的不同特征的加权和。这样我们就可以对A的特征值按照模的大小排序，去掉模较小（注意特征值是复数，在PCA中我们会对一个实对称矩阵进行谱分解，此时特征值都是实数，直接比较大小就行）的特征值$\lambda$对应的项$\lambda u{u}^H$，也就是去掉权重较小的项，就得到了A的一个近似矩阵。（显然，去掉模越接近0的特征值的对应项，得到的矩阵与原矩阵的近似程度越高）
不过，由于特征值分解的适用性有限，我们无法对任何矩阵都使用特征值分解的方法来求近似矩阵。但是，后面要说的奇异值分解是适用于任意矩阵的，而奇异值分解出的奇异值和奇异向量就类似于特征值和特征向量的作用，故奇异值分解可以用来“分解任意矩阵的特征”。在求任意矩阵的近似矩阵时，可以使用SVD的方法。

实正规矩阵的正交相似拟对角化（拓展内容）

我们在复数域下证明了正规矩阵必可酋对角化的结论，并且讨论了实矩阵可正交相似对角化的充要条件（即必须是实对称矩阵）。根据正规矩阵的定义可得，实正规矩阵就是满足$A^{T}A=A{A}^T$的实矩阵。显然，实对称矩阵一定是实正规矩阵，但实正规矩阵不一定是实对称阵（例如$A=\left[\begin{array}{cc}1& 1\\ -1& 1\end{array}\right]$），因此并非所有实正规矩阵都可以正交相似对角化。然而，我们可以将它们“近似”对角化，即正交相似拟对角化。
拟对角阵具有如下形式：$$\left[\begin{array}{ccc}{R}_{11}& & \\ & \ddots & \\ & & R_{nn}\end{array}\right]$$其中对角子块$R_{ii}$是$1\times 1$矩阵或$2\times 2$矩阵。拟对角阵是一种特殊的分块对角阵，分块对角阵也具有上述形式，只是对角子块不一定必须是$1\times 1$矩阵或$2\times 2$矩阵，只要是方块就行了。

• 引理7：任意实的拟上三角阵$T$，若$T$是正规矩阵，则$T$一定是拟对角阵，且$T$的对角子块都是正规矩阵
  证：（对$T$对角线上的子块个数n进行归纳）
  当$n=1$时，$T$本身就是正规的拟对角阵。假设命题对$n⩽k-1$成立，现证明命题对$n=k$也成立。设$T=\left[\begin{array}{cc}{T}_1& S\\ O& R\end{array}\right]$，其中$R$是$1\times 1$矩阵或$2\times 2$矩阵。$$T^{T}T=\left[\begin{array}{cc}{T}_1^T& O\\ S^T& R^T\end{array}\right]\left[\begin{array}{cc}{T}_1& S\\ O& R\end{array}\right]=\left[\begin{array}{cc}{T}_1^T{T}_1& T_1^{T}S\\ S^T{T}_1& S^{T}S+R^{T}R\end{array}\right]$$$$T{T}^T=\left[\begin{array}{cc}{T}_1& S\\ O& R\end{array}\right]\left[\begin{array}{cc}{T}_1^T& O\\ S^T& R^T\end{array}\right]=\left[\begin{array}{cc}{T}_1{T}_1^T+S{S}^T& S{R}^T\\ R{S}^T& R{R}^T\end{array}\right]$$由$T^{T}T=T{T}^T$得$T_1^T{T}_1=T_1{T}_1^T+S{S}^T$且$R{R}^T=S^{T}S+R^{T}R$，$tr(R{R}^T)=tr(S^{T}S)+tr(R^{T}R)=tr(S^{T}S)+tr(R{R}^T)$，故$tr(S^{T}S)=0$，故$S=O$，$R^{T}R=R{R}^T$，$T_1^T{T}_1=T_1{T}_1^T$。于是$T=\left[\begin{array}{cc}{T}_1& O\\ O& R\end{array}\right]$，其中$T_1$是有$n-1$个对角子块的拟上三角阵，且$T_1$是正规矩阵，故由归纳假设知$T_1$是对角子块均为正规矩阵的拟对角阵。结合$R^{T}R=R{R}^T$就知道$T$也是对角子块均为正规矩阵的拟对角阵。证毕。
• 引理8：设$D=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\in R^{2\times 2}$，若$D$是正规矩阵且$D$有一对共轭的虚特征值，则$d=a,c=-b$且$b\ne 0$
  证：
  根据$D$是正规矩阵可得$b^2=c^2$，$ac+bd=ab+cd$。假设$b=c$，考虑$D$的特征方程${\lambda }^2-(a+d)\lambda +(ad-bc)=0$，这是一个二次方程，判别式$\Delta =(a+d{)}^2-4(ad-bc)=(a-d{)}^2+4b^2⩾0$，故$D$有实特征值，这与已知条件矛盾。故假设不成立，$b\ne c$，根据$b^2=c^2$必有$c=-b$，再根据$ac+bd=ab+cd$可得$b(d-a)=0$。假设$b=0$，则$c=-b=0$，$D$成为一对角阵，这也与已知条件矛盾。故假设不成立，必有$b\ne 0$，因此必有$d=a$。证毕。
  【注1】注意，虚数是指不是实数的复数，因此二阶矩阵$D$有一对共轭的虚特征值就意味着$D$没有实特征值。
  【注2】在引理8的条件下，$D$的特征值就是$a\pm bi$。
• 定理24：$A\in R^{n\times n}$是正规矩阵的充要条件为$A$正交相似于一个满足如下条件的拟对角阵$T$：$$T=\left[\begin{array}{ccc}{R}_{11}& & \\ & \ddots & \\ & & R_{nn}\end{array}\right]$$其中对角子块$R_{ii}$是$1\times 1$矩阵或具有如下形式的$2\times 2$矩阵$$R_{ii}=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]$$满足$b\ne 0$
  证明：
  必要性：根据定理15，存在$A$的实Schur分解$A=PT{P}^T$，其中$P$是实正交矩阵，$T$是实的拟上三角阵，满足$T$的对角子块要么是$1\times 1$矩阵，要么是有一对共轭的虚特征值的$2\times 2$矩阵。由$A$是正规矩阵，将上式代入$A^{T}A=A{A}^T$得$P{T}^{T}T{P}^T=PT{T}^T{P}^T$，故$T^{T}T=T{T}^T$，即$T$是正规矩阵。由引理7知T是拟对角阵，且$T$的每个对角子块都是正规矩阵。任取$T$的一个$2\times 2$对角子块$R_{ii}$，则$R_{ii}$是正规矩阵，且$R_{ii}$有一对共轭的虚特征值，于是由引理8知$R_{ii}$具有形式$R_{ii}=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]$，其中$b\ne 0$。得证。
  充分性：若A正交相似于一个命题中所述的拟对角矩阵，即存在实正交矩阵$U$和拟对角阵$T$使得$A=UT{U}^T$，其中$T$如命题所述。则$A^{T}A=U{T}^T{U}^{T}UT{U}^T=U{T}^{T}T{U}^T$，$A{A}^T=UT{U}^{T}U{T}^T{U}^T=UT{T}^T{U}^T$，注意到$T$的对角子块都是正规矩阵（注意，$1\times 1$矩阵本身就是正规的，而具有形式$\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]$的$2\times 2$矩阵经过计算可验证是正规的），故$T^{T}T=T{T}^T$，故$A^{T}A=A{A}^T$。
  【注】实际上，拟对角阵$T$可以限制得更严格一些，将原定理中的表述更改为“其中对角子块$R_{ii}$是$1\times 1$矩阵或具有形式$R_{ii}=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]$的$2\times 2$矩阵，满足$b>0$”，则定理仍成立。这是因为当$b<0$时，总是可以作正交相似变换$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}a& b^{\prime }\\ -b^{\prime }& a\end{array}\right]$，使得$b^{\prime }=-b>0$。

---

奇异值分解SVD（任意矩阵）

奇异值分解在机器学习领域的应用实在是太广泛了：数据压缩、推荐系统、自然语言处理等等到处都有它的身影。这里介绍奇异值分解的数学推导，建议数学推导之外多了解一些应用和直观的几何解释。推荐学习奇异值的几何意义以及奇异值分解与特征值分解的区别与联系，以上知乎链接中的回答多是从线性变换的角度来讲解奇异值分解（实际上矩阵的几何意义就是线性变换），这样能够较为直观得理解EVD和SVD。照片压缩直观地给出了奇异值分解在照片压缩上呈现的效果。

• 定义：设$A\in C_r^{m\times n}$，$A^{H}A$的特征值为$${\lambda }_1⩾{\lambda }_2⩾...⩾{\lambda }_r>{\lambda }_{r+1}=...={\lambda }_n=0$$称${\sigma }_i={\sqrt{\lambda }}_i(i=1,2,...,n)为A的奇异值$
  【注1】关于$A^{H}A$的特征值为什么都是非负实数的问题请参考链接），注意奇异值都是非负的
  【注2】因为$r(A^{H}A)=r(A)=r$，且$A^{H}A$是一个n阶正规矩阵，故$A^{H}A$的零特征值的代数重数是$n-r$，这就是为什么${\lambda }_{r+1}=...={\lambda }_n=0$
  【注3】网上看到有的人把$A^{H}A$和$A{A}^H$的特征值完全等同起来，这是不对的（它们差就差在零特征值上）。对奇异值的定义就是采用$A^{H}A$的特征值来定义，用$A{A}^H$来定义是不准确的。（不过这不会影响奇异值分解的结果）

奇异值的相关性质：

1. 奇异值的酋不变性（旋转不变性）：

• 定理25：设U是酋矩阵，则$UA$的奇异值与$A$的奇异值相同
  证明：$(UA{)}^H(UA)=A^H{U}^{H}UA=A^{H}A$，故由奇异值的定义得$UA$的奇异值与$A$的奇异值相同。
• 定理26：设U是酋矩阵，则$AU$的奇异值与$A$的奇异值相同
  证明：$(AU{)}^H(AU)=U^H(A^{H}A)U$，即$(AU{)}^H(AU)$酋相似于$A^{H}A$，故它们的特征值相同，由奇异值的定义得$AU$的奇异值与$A$的奇异值相同。

2. 逆矩阵的奇异值：

• 定理27：设$A\in C_n^{n\times n}$，则$A$的奇异值均非零。设$A$的奇异值为${\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_n>0$，则$A^{-1}$的奇异值为$1/{\sigma }_n⩾1/{\sigma }_{n-1}⩾\cdots ⩾1/{\sigma }_1$
  证明：
  由奇异值定义的注释2知$A$的奇异值均为正。设$A{A}^H$的一个谱分解为$A{A}^H=U\Sigma U^H$，其中$\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n),{\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n>0$。由于$A^{H}A$和$A{A}^H$的非零特征值相同，且同一非零特征值的代数重数相等，于是由奇异值的定义得${\sigma }_i=\sqrt{{\lambda }_i},i=1,2,...,n$。因为$(A^{-1}{)}^H{A}^{-1}=(A{A}^H{)}^{-1}=U{\Sigma }^{-1}{U}^H$，于是由奇异值的定义得$A^{-1}$的奇异值为$1/\sqrt{{\lambda }_n}⩾1/\sqrt{{\lambda }_{n-1}}⩾\cdots ⩾1/\sqrt{{\lambda }_1}$，即$1/{\sigma }_n⩾1/{\sigma }_{n-1}⩾\cdots ⩾1/{\sigma }_1$。

3. 正规矩阵的奇异值与特征值的关系：

• 定理28：设正规矩阵$A\in C^{n\times n}$的奇异值为${\sigma }_1⩾{\sigma }_2⩾...⩾{\sigma }_n$，特征值为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$满足$|{\lambda }_1|⩾|{\lambda }_2|⩾...⩾|{\lambda }_n|$，则${\sigma }_i=|{\lambda }_i|,i=1,2,...,n$
  证明：
  设A的一个谱分解为$A=U\Sigma U^H$，其中$\Sigma =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$，则$A^{H}A=U\overline{\Sigma }{U}^{H}U\Sigma U^H=U\overline{\Sigma }\Sigma U^H$。注意到该式是$A^{H}A$的一个谱分解，且$\overline{\Sigma }\Sigma$的对角元为$|{\lambda }_1{|}^2⩾|{\lambda }_2{|}^2⩾...⩾|{\lambda }_n{|}^2$，故根据奇异值的定义得${\sigma }_i=|{\lambda }_i|,i=1,2,...,n$。

定理28仅给出了正规矩阵的奇异值与特征值之间的关系。实际上，对于一般的方阵而言，奇异值和特征值之间也是有关系的（Shur不等式）。关于这一点的讨论需要借助Frobenius范数，详见后面的博客（链接）。

下面我们进入奇异值分解。

SVD的存在性定理

• 定义1：设$A\in C_r^{m\times n}$，若存在m阶酋矩阵U和n阶酋矩阵V，以及$m\times n$广义对角矩阵$\Lambda =\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]$，其中$\Sigma =diag({\sigma }_1,...,{\sigma }_r)$，${\sigma }_1⩾..⩾{\sigma }_r>0$为A的非零奇异值，使得$A=U\Lambda V^H$，则称$A=U\Lambda V^H$是A的一个奇异值分解
  【注1】由于在$\Sigma$的对角线上$A$的非零奇异值是从大到小排列的，故若$A$的奇异值分解存在，则$\Lambda$唯一。在有些资料的定义中，广义对角矩阵$\Lambda$的对角线元素的大小顺序可以是任意的，但一般来说为便于分析更常约束$\Lambda$的对角线元素从大到小排列。
  【注2】由于$A^{H}A$和$A{A}^H$的非零特征值相同，且同一非零特征值的代数重数相等，故A的非零奇异值既是$A^{H}A$的非零特征值的算数平方根，又是$A{A}^H$的非零特征值的算数平方根。
  【注3】由奇异值分解的定义及注2知，若$A=U\Lambda V^H$是A的一个奇异值分解，则$A^H=V\Lambda U^H$是$A^H$的一个奇异值分解（但需注意的是，$A$的奇异值与$A^H$的奇异值不完全等同，且只差在零奇异值上）

上述定义的条件可以减弱：

• 定义2：设$A\in C^{m\times n}$，若存在m阶酋矩阵$U$和n阶酋矩阵$V$，以及$m\times n$广义对角矩阵$\Lambda =\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]$，其中$\Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_r)$，${\sigma }_1⩾{\sigma }_2⩾...{\sigma }_r>0$，使得$A=U\Lambda V^H$，则称$A=U\Lambda V^H$是$A$的一个奇异值分解
  【注】注意定义1和定义2的区别：定义1中设$A\in C_r^{m\times n}$，而定义2中设$A\in C^{m\times n}$，即$r$在定义1中指明为$A$的秩，而在定义2中并未指明；定义1中直接指明${\sigma }_1⩾{\sigma }_2⩾...{\sigma }_r>0$为$A$的非零奇异值，而在定义2中并未指明

这两个定义是等价的：
显然若定义1的条件被满足，则定义2的条件也被满足（定义2的条件相较于定义1弱化了）。
若定义2的条件被满足，则由$r(A)=r(U\Lambda V^H)=r(\Lambda )=r(\Sigma )=r$知$A\in C_r^{m\times n}$（即$r$恰为$A$的秩），注意到$A^{H}A=(U\Lambda V^H{)}^H(U\Lambda V^H)=V{\Lambda }^T{U}^{H}U\Lambda V^H=V{\Lambda }^T\Lambda V^H$是$A^{H}A$的一个谱分解，于是${\Lambda }^T\Lambda$的非零对角线元素${\sigma }_1^2⩾{\sigma }_2^2⩾...{\sigma }_r^2>0$恰为$A^{H}A$的非零特征值，于是根据奇异值的定义得${\sigma }_1⩾{\sigma }_2⩾...{\sigma }_r>0$是$A$的非零奇异值，即定义1的条件也被满足。

下面我们证明任意矩阵的奇异值分解的存在性：

• 定理29：任意矩阵$A\in C_r^{m\times n}$都存在奇异值分解$A=U\Lambda V^H$，其中U、V分别为m、n阶酋矩阵，$\Lambda =\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]$，$\Sigma =diag({\sigma }_1,...,{\sigma }_r)$，${\sigma }_1⩾..⩾{\sigma }_r$为A的非零奇异值
  证明：
  由于$A^{H}A$是n阶正规矩阵，故存在n阶酋矩阵V使得$V^H{A}^{H}AV=\left[\begin{array}{cc}{\Sigma }^2& O\\ O& O\end{array}\right]$。将V分块$V=\left[\begin{array}{cc}{V}_1& V_2\end{array}\right]$，其中$V_1$是$n\times r$矩阵，$V_2$是$r\times n$矩阵。则$V_1^H{A}^{H}A{V}_1={\Sigma }^2$，$V_2^H{A}^{H}A{V}_2=O$，即${\Sigma }^{-1}{V}_1^H{A}^{H}A{V}_1{\Sigma }^{-1}=I_r$，$(A{V}_2{)}^H(A{V}_2)=O$。设$U_1=A{V}_1{\Sigma }^{-1}$，则有$U_1^H{U}_1=I_r$，$A{V}_2=O$。由于$U_1$的列向量组为单位正交向量组（注意是r个m维向量），故由扩充定理以及Schmidt正交化方法可将$U_1$的列向量组扩充为$C^m$的一组标准正交基，于是构造出m阶酋矩阵$U=\left[\begin{array}{cc}{U}_1& U_2\end{array}\right]$。由$$\begin{array}{rl}{U}^{H}AV& =\left[\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right]A\left[\begin{array}{cc}{V}_1& V_2\end{array}\right]\\ & =\left[\begin{array}{cc}{U}_1^{H}A{V}_1& U_1^{H}A{V}_2\\ U_2^{H}A{V}_1& U_2^{H}A{V}_2\end{array}\right]\\ & =\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]=\Lambda \end{array}$$知$A=U\Lambda V^H$就是A的一个奇异值分解。
  【注】该定理的证明实际上就是通过将$A^{H}A$进行谱分解构造出A的一个奇异值分解。若A是一实矩阵，使用类似的构造方法（不同之处在于$A^{H}A=A^{T}A$的谱分解应选择“实的”谱分解，且应将$U_1$的列向量组扩充为$R^m$的标准正交基）可知，A存在“实的”奇异值分解，即$A=U\Lambda V^T$，其中$U$、$V$是实正交矩阵，$\Lambda$是实广义对角矩阵。

SVD的构造方法（参考资料）

由定理29的证明过程可以看出，奇异值分解的构造是比较复杂的（先构造$A^{H}A$的特征值分解，再构造$A$的奇异值分解的话时间复杂度太高，且数值稳定性不好）。一般，奇异值分解采用如下算法：第一步用Householder变换将A化为双对角阵，第二步用QR分解或单边Jacobi旋转求双对角阵的SVD，复杂度可以到$O(m{n}^2)$，且有很好的数值稳定性。（详见英文维基百科）

SVD的性质

现在我们来认识一下奇异值分解的数学性质：
（以下均设$A\in C_r^{m\times n}$且$A=U\Lambda V^H$是A的一个奇异值分解）

• 奇异值与奇异性的关系：若A是n阶方阵，则$|det(A)|=|det(U)|det(\Lambda )|det(V^H)|={\sigma }_1{\sigma }_2...{\sigma }_n$，可见A是非奇异的等价于A的奇异值都不为零
• 全奇异值分解与截尾奇异值分解：
  • 全奇异值分解：就是前面我们所说的奇异值分解$A=U\Lambda V^H$。
  • 截尾奇异值分解：设$U=\left[\begin{array}{cc}{U}_1& U_2\end{array}\right]$，$V=\left[\begin{array}{cc}{V}_1& V_2\end{array}\right]$，其中$U_1$是U的前r列（注意r是A的秩），$V_1$是V的前r列。则$A=U\Lambda V^H=\left[\begin{array}{cc}{U}_1& U_2\end{array}\right]\left[\begin{array}{cc}{\Sigma }_r& O\\ O& O\end{array}\right]\left[\begin{array}{c}{V}_1^H\\ V_2^H\end{array}\right]=U_1{\Sigma }_r{V}_1^H$。称$A=U_1{\Sigma }_r{V}_1^H$为A的截尾奇异值分解。
    （注意：截尾奇异值分解表明，实际上酋矩阵U和V各自的子矩阵$U_1$和$V_1$和A的全部非零奇异值就已携带了原矩阵A的全部信息）
  • 当A是满秩方阵时，A的截尾奇异值分解和全奇异值分解是等同的
  • 如果仔细观察截尾奇异值分解式，会发现它是A的一个满秩分解：$A=U_1({\Sigma }_r{V}_1^H)$，$U_1$是一列满秩矩阵，${\Sigma }_r{V}_1^H$是一行满秩矩阵；或者$A=(U_1{\Sigma }_r)V_1^H$，$U_1{\Sigma }_r$是一列满秩矩阵，$V_1^H$是一行满秩矩阵；再或者$A=(U_1\sqrt{{\Sigma }_r})(\sqrt{{\Sigma }_r}{V}_1^H)$，其中$\sqrt{{\Sigma }_r}=diag(\sqrt{{\sigma }_1},...,{\sigma }_r)$，$U_1\sqrt{{\Sigma }_r}$是一列满秩矩阵，$\sqrt{{\Sigma }_r}{V}_1^H$是一行满秩矩阵……等等。
• 认识酋矩阵U和V：
  • 左奇异向量与右奇异向量：
    U的列向量称为A的左奇异向量，V的列向量称为A的右奇异向量。
    $A$的左奇异向量都是$A{A}^H$的特征向量，$A$的右奇异向量都是$A^{H}A$的特征向量。（原因：根据$A=U\Lambda V^H$，有$A{A}^H=U\Lambda V^{H}V{\Lambda }^T{U}^H=U(\Lambda {\Lambda }^T)U^H$，注意这是$A{A}^H$的一个谱分解，于是$U$的列向量都是$A^{H}A$的特征向量。同理，根据$A^{H}A=V({\Lambda }^T\Lambda )V^H$是$A^{H}A$的一个谱分解就知道$V$的列向量都是$A{A}^H$的特征向量）
  • 设$U=\left[\begin{array}{cc}{U}_1& U_2\end{array}\right]$，其中$U_1$是U的前$r$列（注意r是A的秩）构成的子矩阵。则$U_1$的列向量组是A的列空间$R(A)$的标准正交基，$U_2$的列向量组是$A^H$的零空间$N(A^H)$的标准正交基
    （原因：观察截尾奇异值分解式$A=U_1({\Sigma }_r{V}_1^H)$，可见A的列向量组可由$U_1$的列向量组线性表示，又$dimR(A)=r=r(U_1)$，所以$U_1$的列向量组是$R(A)$的标准正交基；计算可得$A^H{U}_2=V_1{\Sigma }_r^T{U}_1^H{U}_2=V_1{\Sigma }_r^{T}O=O$，又$dimN(A^H)=m-r=r(U_2)$，所以$U_2$的列向量组是$N(A^H)$的标准正交基）
    【注】这说明奇异值分解可以用来求矩阵的列空间及其正交补的标准正交基。
  • 设$V=\left[\begin{array}{cc}{V}_1& V_2\end{array}\right]$，其中$V_1$是V的前r列构成的子矩阵。则$V_1$的列向量组是$A^H$的列空间$R(A^H)$的一组标准正交基，$V_2$的列向量组是A的零空间$N(A)$的一组标准正交基
    （原因和上面同理）
    【注】这说明奇异值分解可以用来求矩阵的零空间及其正交补的标准正交基。
• SVD与EVD的关系
  • 定理30：若A是Hermite半正定矩阵，则A的奇异值与A的特征值完全等同，A的一个特征值分解是A的一个奇异值分解
    证明：
    若A是Hermite半正定矩阵，则A的特征值（为实数）均非负。设n阶方阵$A$的一个谱分解为$A=U\Lambda U^H$，其中$\Lambda =diag({\lambda }_1,...,{\lambda }_n)$，则$A^{H}A=A^2=U\Lambda U^{H}U\Lambda U^H=U{\Lambda }^2{U}^H$。这说明$A^{H}A$的特征值为${\lambda }_1^2,...,{\lambda }_n^2$，故由奇异值的定义知A的奇异值${\sigma }_i=\sqrt{{\lambda }_i^2}={\lambda }_i,i=1,2,...,n$，即A的奇异值与特征值等同。进而由奇异值分解的定义知$A=U\Lambda U^H$是A的一个奇异值分解。

SVD用于求矩阵的逼近

奇异值分解可以视作方阵（正规矩阵）的特征值分解在一般的长方矩阵上的推广，奇异值和奇异向量是描述长方矩阵的特征的量，这一点可以通过照片压缩的例子直观地理解。和特征值分解一样，奇异值分解可以改写成矩阵的特征的加权和：由$A\in C_r^{m\times n}$的截尾奇异值分解式$A=U_1{\Sigma }_r{V}_1^H$，若设$U_1=\left[\begin{array}{cc}{u}_1& ...u_r\end{array}\right]$，$V_1=\left[\begin{array}{cc}{v}_1& ...v_r\end{array}\right]$，则有$$A={\Sigma }_{i=1}^r{\sigma }_i{u}_i{v}_i^H$$在求A的近似矩阵时，只要去掉奇异值较小的项即可（等价于在奇异值分解式中令对角矩阵上相应的奇异值为零）。另外，注意到$r(A)=r(U_1{\Sigma }_r{V}_1^H)=r({\Sigma }_r)$，故每去掉$A={\Sigma }_{i=1}^r{\sigma }_i{u}_i{v}_i^H$中的一项，$A$的秩就减少1，所以这样求得的近似矩阵实际上是对原矩阵的低秩逼近。这种方法可以实现对数据的去噪、压缩等。还有一点比较有趣，${\sigma }_i{u}_i{v}_i^H$是一个秩为1的矩阵（因为$r({\sigma }_i{u}_i{v}_i^H)⩽r(u$