## 7.1 奇异值分解SVD和对称矩阵谱分解

7.1 奇异值分解SVD和对称矩阵谱分解

矩阵 $A_{mn},rankA=r<(m,n)$ 是亏秩矩阵时，虽然高斯消元法可以求得方程 $A\mathbf{x}=\mathbf{b}$ 的解，很可惜的是，采用高斯消元法，有两个缺点：第一是，当方程不存在精确解时，高斯消元法无法得到最小二乘解；第二是，当方程存在精确解时，其解的结构是特解加零解。当选择不同的矩阵 $A$ 列空间的极大无关组时，可以求得不同的特解，理论上存在无穷多特解满足方程 $A\mathbf{x}=\mathbf{b}$ ，一般情况下，我们希望获得最特殊的特解－－最小范数解，即所有特解中，内积最小特解 $\min \Vert {\mathbf{x}}_p\Vert$ 。

由于矩阵 $A$ 是亏秩矩阵，其列向量不是 $R^m$ 空间的基，故不是任意 $\mathbf{b}$ 都有精确解，只有当 $\mathbf{b}$ 位于矩阵 $A$ 列空间时，才存在精确解，否则只能获得最小二乘解。令向量 $\mathbf{b}$ 向矩阵 $A$ 列空间的投影向量为 ${\mathbf{b}}_p$ ，则方程 $A\mathbf{x}={\mathbf{b}}_p$ 有精确解，称为最小二乘解，由于矩阵 $A$ 不是列满秩矩阵，故不能采用第五章方法获得最小二乘解。同时由于矩阵 $A$ 列向量组是相关组，故方程 $A\mathbf{x}={\mathbf{b}}_p$ 有无穷多解，其解的结构是特解加零解，我们希望获得最小范数特解。综上，对于方程 $A\mathbf{x}=\mathbf{b}$ ，对任意向量 $\mathbf{b}$，我们希望获得最小范数最小二乘解和零解。

方程 $A\mathbf{x}=\mathbf{b}$ 的解空间为 $R^n$ 空间，令向量组 ${\mathbf{v}}_i,i=1,\cdots ,n$ 是 $R^n$ 空间中任意 $n$ 个线性无关的单位向量，则向量组 $A{\mathbf{v}}_i,i=1,\cdots ,n$ 是 $R^m$ 空间中向量，对其进行单位化，得 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i,{\mathbf{u}}_i是单位向量，{\sigma }_i\ge 0是向量A{\mathbf{v}}_i的长度$ 。向量 $A^T{\mathbf{u}}_i$ 是 $n$ 维，所以位于 $R^n$ 空间，故其能被该空间的基表示，向量组 ${\mathbf{v}}_i,i=1,\cdots ,n$ 是 $R^n$ 空间的基，故 $A^T{\mathbf{u}}_i$ 能被向量组 ${\mathbf{v}}_i,i=1,\cdots ,n$ 线性表示，所以令 $A^T{\mathbf{u}}_i={\sum }_{j=1}^n{k}_{ij}{\mathbf{v}}_j$ 。令矩阵 $V=[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n]$ ，则
$$\begin{gathered} A^{T}A{\mathbf{v}}_i=A^T(A{\mathbf{v}}_i)=A^T{\sigma }_i{\mathbf{u}}_i={\sigma }_i\sum _{j=1}^n{k}_{ij}{\mathbf{v}}_j=V{\Lambda }_i \\ 其中向量{\Lambda }_i=({\sigma }_i{k}_{i1},{\sigma }_i{k}_{i2},\cdots ,{\sigma }_i{k}_{in}) \end{gathered}$$

故
$$\begin{gathered} A^{T}A[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n]=V[{\Lambda }_1,\cdots ,{\Lambda }_n] \\ {A}^{T}AV=V\Lambda \\ {A}^{T}A=V\Lambda V^{-1} \end{gathered}$$

$V$ 是 $R^n$ 空间中的任意基，如何选择该基，能使 $V\Lambda V^{-1}$ 最简洁？表达式涉及矩阵 $V$ 的逆，故希望求逆简单。能直接获得矩阵逆的矩阵有正交矩阵，对角阵，单位阵，矩阵 $V$ 为对角阵或单位阵，则会造成矩阵 $\Lambda$ 复杂。矩阵 $V$ 为正交矩阵时，能使矩阵 $\Lambda$ 为对角阵！该性质就是对称矩阵谱分解定理。

对称矩阵谱分解定理 任意对称矩阵 $S$ 能分解为正交矩阵 $Q$ 和对角阵 $\Lambda$ ，且满足 $S=Q\Lambda Q^T$ 。

令 $Q=[{\mathbf{q}}_1,\cdots ,{\mathbf{q}}_n]$ 和 $\Lambda =diag({\lambda }_1,\cdots ,{\lambda }_n)$ 。

$$\begin{gathered} S=Q\Lambda Q^T=[{\mathbf{q}}_1,\cdots ,{\mathbf{q}}_n]diag({\lambda }_1,\cdots ,{\lambda }_n)[{\mathbf{q}}_1,\cdots ,{\mathbf{q}}_n{]}^T=[{\mathbf{q}}_1,\cdots ,{\mathbf{q}}_n]\left[\begin{array}{c}{\lambda }_1{\mathbf{q}}_1^T\\ ⋮\\ {\lambda }_n^T{\mathbf{q}}_n^T\end{array}\right] \\ ={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+\cdots +{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^T \\ =\sum _{i=1}^n{\lambda }_i{\mathbf{q}}_i{\mathbf{q}}_i^T \end{gathered}$$

注意 $\mathbf{u}{\mathbf{v}}^T$ 是矩阵，称为向量外积，需要与向量内积区分。因为 $rank({\mathbf{q}}_i{\mathbf{q}}_i^T)=1$ ，$S=Q\Lambda Q^T={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+\cdots +{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^T$ ，这表明对称矩阵可分解为 $n$ 个简单矩阵（秩为$1$）${\mathbf{q}}_i{\mathbf{q}}_i^T$ 之和，其系数为 ${\lambda }_i$ 。因为 ${\mathbf{q}}_i$ 都是单位向量，故 ${\lambda }_i$ 绝对值大的分量更重要，是主成分。

因为 $Q$ 是正交矩阵，故 ${\mathbf{q}}_i{\mathbf{q}}_i^T=1,{\mathbf{q}}_i{\mathbf{q}}_j^T=0fori\ne j$，所以 $S{\mathbf{q}}_i=({\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+\cdots +{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^T){\mathbf{q}}_i={\lambda }_1{\mathbf{q}}_1({\mathbf{q}}_1^T{\mathbf{q}}_i)+\cdots +{\lambda }_n{\mathbf{q}}_n({\mathbf{q}}_n^T{\mathbf{q}}_i)＝{\lambda }_i{\mathbf{q}}_i$ 即 $S{\mathbf{q}}_i={\lambda }_i{\mathbf{q}}_i$ ，我们称 ${\lambda }_i$ 为矩阵 $S$ 的特征值，${\mathbf{q}}_i$ 为对应的特征向量。

$$rankS=rank(Q\Lambda Q^T)=rank(\Lambda Q^T)=rank\Lambda$$
所以对角元素 ${\lambda }_i$ 非零数目等于矩阵 $S$ 的秩。

后面证明该定理。

因为矩阵 $A^{T}A$ 是对称矩阵，故能分解为 $A^{T}A=V\Lambda V^T$ ，得到正交矩阵 $V=[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n]$ 和 对角阵 $\Lambda$ 的对角元素 ${\lambda }_i$ 值，且对角阵 $\Lambda$ 的对角元素 ${\lambda }_i$ 非负。因为对任意向量 $\mathbf{x}$ ，有 ${\mathbf{x}}^T{A}^{T}A\mathbf{x}=(A\mathbf{x}{)}^T(A\mathbf{x})\ge 0$ ，故 ${\mathbf{x}}^{T}V\Lambda V^T\mathbf{x}=(V^T\mathbf{x}{)}^T\Lambda (V^T\mathbf{x})={\mathbf{y}}^T\Lambda \mathbf{y}={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2\ge 0$ 成立，所以 ${\lambda }_i\ge 0$ 。

根据对称矩阵性质 $S{\mathbf{q}}_i={\lambda }_i{\mathbf{q}}_i$ ，故 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 成立，矩阵 $A^{T}A$ 特征值为 ${\lambda }_i$ 且非负，我们习惯把特征值按降序排列，即 ${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_n\ge 0$ 。

根据对称矩阵性质 $S={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+\cdots +{\lambda }_n{\mathbf{q}}_n{\mathbf{q}}_n^T$ ，故 $A^{T}A={\lambda }_1{\mathbf{v}}_1{\mathbf{v}}_1^T+\cdots +{\lambda }_n{\mathbf{v}}_n{\mathbf{v}}_n^T$ ，由于 ${\lambda }_i$ 非负且按降序排列，故靠前的 ${\lambda }_i{\mathbf{v}}_i{\mathbf{v}}_i^T$ 占矩阵 $A^{T}A$ 比例更大，是主成分。

$r=rankA=rank(A^{T}A)=rank\Lambda$ ，所以对角元素 ${\lambda }_i$ 非零数目等于矩阵 $A$ 的秩！

现在证明向量组 $U=[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_n]$ 两两正交。
$$({\mathbf{u}}_i^T{\mathbf{u}}_j)({\sigma }_i{\sigma }_j)=(A{\mathbf{v}}_i{)}^T(A{\mathbf{v}}_j)={\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_j={\mathbf{v}}_i^T(A^{T}A{\mathbf{v}}_j)={\mathbf{v}}_i^T{\lambda }_j{\mathbf{v}}_j={\lambda }_j{\mathbf{v}}_i^T{\mathbf{v}}_j$$
因为向量组 $V=[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n]$ 两两正交，故得证。

当 $i=j$ 时 $({\mathbf{u}}_i^T{\mathbf{u}}_i)({\sigma }_i{\sigma }_i)={\lambda }_i({\mathbf{v}}_i^T{\mathbf{v}}_i)$，因为 ${\mathbf{u}}_i,{\mathbf{v}}_i$ 是单位向量，故 ${\lambda }_i={\sigma }_i^2$ 。

又根据 $A^{T}A{\mathbf{v}}_i={\sigma }_i{\sum }_{j=1}^n{k}_{ij}{\mathbf{v}}_j={\lambda }_i{\mathbf{v}}_i$ 得 $k_{ij}=0forj\ne i$ 和 ${\lambda }_i={\sigma }_i{k}_{ii}$ ，得 $k_{ii}={\sigma }_i$，所以 $A^T{\mathbf{u}}_i={\sum }_{j=1}^n{k}_{ij}{\mathbf{v}}_j=k_{ii}{\mathbf{v}}_i={\sigma }_i{\mathbf{v}}_i$ 。

$A{A}^T{\mathbf{u}}_i=A{\sigma }_i{\mathbf{v}}_i={\sigma }_{i}A{\mathbf{v}}_i={\sigma }_i{\sigma }_i{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$ ，所以对称矩阵 $A{A}^T$ 特征值为 ${\lambda }_i$ ，对应特征向量为 ${\mathbf{u}}_i$ 。

综合上面结论可得矩阵的奇异值分解定理
1、首先根据对称矩阵谱分解定理，可得 $A^{T}A=V\Lambda V^T={\lambda }_1{\mathbf{v}}_1{\mathbf{v}}_1^T+\cdots +{\lambda }_n{\mathbf{v}}_n{\mathbf{v}}_n^T$，矩阵 $V=[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n]$ 是正交矩阵，矩阵 $\Lambda$ 是对角阵，对角元素 ${\lambda }_i\ge 0$ 按降序排列，非零数目等于 $rankA$ 。
2、满足如下性质
$$\begin{gathered} A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i \\ {A}^T{\mathbf{u}}_i={\sigma }_i{\mathbf{v}}_i \\ {A}^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i \\ A{A}^T{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i \\ {\sigma }_i=\sqrt{{\lambda }_i}称为奇异值，{\mathbf{v}}_i称为右奇异向量，{\mathbf{u}}_i称为左奇异向量. \end{gathered}$$

几点说明：
1、正交矩阵 $V=[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n]$ 和对角阵 $\Lambda$ 如何获得呢？理论上可通过解方程 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 获得，具体如何解后面介绍，非零奇异值 ${\sigma }_i=\sqrt{{\lambda }_i},i=1,\cdots ,r=rankA$ ，${\sigma }_i$ 是向量 $A{\mathbf{v}}_i$ 的长度和向量 $A^T{\mathbf{u}}_i$ 的长度；
2、根据非零奇异值计算得到 ${\mathbf{u}}_i=A{\mathbf{v}}_i/{\sigma }_i,i=1,\cdots ,r=rankA$ ；
3、由于向量组 ${\mathbf{u}}_i，i=1,\cdots ,r=rankA$ 两两正交，根据基的扩充定理，可扩充 $m-r$ 个单位向量 ${\mathbf{u}}_i，i=r+1,\cdots ,m$ ，使矩阵 $U=[{\mathbf{u}}_1，\cdots ,{\mathbf{u}}_m]$ 为正交矩阵，并满足对称矩阵谱分解定理即 $A{A}^T=U\Lambda U^T={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\lambda }_m{\mathbf{u}}_m{\mathbf{u}}_m^T$

根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 得 $A{\mathbf{v}}_1={\sigma }_1{\mathbf{u}}_1$；$A{\mathbf{v}}_2={\sigma }_2{\mathbf{u}}_2$；$\cdots$；$A{\mathbf{v}}_r={\sigma }_r{\mathbf{u}}_r$ ，故 $A[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r]=[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r]diag({\sigma }_1,\cdots ,{\sigma }_r)$ ，写成矩阵形式 $A{V}_r=U_r{\Sigma }_r$ ，其中矩阵 $V_r=[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r],U_r=[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r],{\Sigma }_r=diag({\sigma }_1,\cdots ,{\sigma }_r)$ 满足 $V_r^T{V}_r=E_r,U_r^T{U}_r=E_r$ ，注意 $V_r{V}_r^T\ne E_r,U_r{U}_r^T\ne E_r$ 。

对 $A{V}_r=U_r{\Sigma }_r$ 可进行扩充即 $A[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r,\cdots ,{\mathbf{v}}_n]=[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r\cdots ,{\mathbf{u}}_m]diag({\sigma }_1,\cdots ,{\sigma }_r,0,\cdots ,0)$ 写成矩阵形式 $AV=U\Sigma$，此时矩阵 $V,U$ 均是正交矩阵，故 $A=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$，这表明秩为 $r$ 的任意矩阵 $A$ 可分解为 $r$ 个简单矩阵（秩为 $1$）的矩阵 ${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$ 之和，且 ${\sigma }_1\ge {\sigma }_2\ge \cdots {\sigma }_r>0$，按重要性排序。这就是奇异值分解的核心。注意矩阵 $\Sigma$ 尺寸为 $(m,n)$，并不是对角阵，但其前 $(r,r)$ 子矩阵 ${\Sigma }_r$ 是对角阵，对角元素为 ${\sigma }_i>0$ ，矩阵其它元素均为 $0$ 。

根据 $A=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ 可得 $A^T=V\Sigma U^T={\sigma }_1{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +{\sigma }_r{\mathbf{v}}_r{\mathbf{u}}_r^T$ 。

$A^{T}A=V\Lambda V^T={\lambda }_1{\mathbf{v}}_1{\mathbf{v}}_1^T+\cdots +{\lambda }_r{\mathbf{v}}_r{\mathbf{v}}_r^T$ 和 $A{A}^T=U\Lambda U^T={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\lambda }_r{\mathbf{u}}_r{\mathbf{u}}_r^T$ 。

举几个特殊例子说明奇异值分解。
1、对单位矩阵 $A=E$ 进行奇异值分解。根据 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 得 $E^{T}E{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 即 ${\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ ，所以所有特征值 ${\lambda }_i=1$ 即 $\Sigma =E$。任意单位向量 ${\mathbf{v}}_i$ 均满足方程 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$，故可取任意正交矩阵 $V$ ，它们均是特征值 $1$ 对应的特征向量。根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 得 ${\mathbf{u}}_i={\mathbf{v}}_i$， 故单位矩阵的奇异值分解为 $E=VE{V}^T$ ，$V$ 是任意正交矩阵。通过这个例子可以得出，矩阵的奇异值分解不唯一，只有当矩阵 $A$ 是方阵且奇异值均不相等时，分解才唯一。同一个奇异值可以对应多个奇异向量，甚至全部，奇异值对应奇异向量的数目称为几何重数。

2、对正交矩阵 $A=Q$ 进行奇异值分解。根据 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 得 $Q^{T}Q{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 即 ${\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ ，所以所有特征值 ${\lambda }_i=1$即 $\Sigma =E$。任意单位向量 ${\mathbf{v}}_i$ 均满足方程 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$，故可取任意正交矩阵 $V$ ，它们均是特征值 $1$ 对应的特征向量。根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 得 ${\mathbf{u}}_i=Q{\mathbf{v}}_i$ 即 $U=QV$ ，故正交矩阵的奇异值分解为 $Q=(QV)E{V}^T$ ，$V$ 是任意正交矩阵。

3、对秩为 $1$ 矩阵 $A=\mathbf{x}{\mathbf{y}}^T$ 进行奇异值分解，其中 $\mathbf{x},\mathbf{y}$ 是单位向量。根据 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 得 $\mathbf{y}{\mathbf{y}}^T{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ ，当取 ${\mathbf{v}}_i=\mathbf{y}$ 时有 ${\lambda }_i=1$ 。由于秩为 $1$ ，故只有${\lambda }_1=1$ ，其它奇异值均为 $0$ 。${\mathbf{u}}_1=A{\mathbf{v}}_1=\mathbf{x}$ 。故矩阵 $A=\mathbf{x}{\mathbf{y}}^T$ 的奇异值分解就是 $A=\mathbf{x}{\mathbf{y}}^T$ 。在 $R^n$ 空间扩充基向量得到正交矩阵 $V$ ，在 $R^m$ 空间扩充基向量得到正交矩阵 $U$ ，则 $A=U\Sigma V^T$ ，其中伪对角阵 ${\Sigma }_{11}=1，其它元素均为0$ 。

4、对角阵 $A=D=diag(d_1,\cdots ,d_n)$ 进行奇异值分解。根据 $A^{T}A{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 得 $diag(d_1^2,\cdots ,d_n^2){\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ 即 $(diag(d_1^2,\cdots ,d_n^2)-{\lambda }_{i}E){\mathbf{v}}_i=diag(d_1^2-{\lambda }_i,\cdots ,d_n^2-{\lambda }_i){\mathbf{v}}_i=((d_1^2-{\lambda }_i)v_{i1},\cdots ,(d_n^2-{\lambda }_i)v_{in})=0$ ，所以 ${\lambda }_1=d_1^2$ 时 ${\mathbf{v}}_1={\mathbf{e}}_1$，${\lambda }_i=d_i^2$ 时 ${\mathbf{v}}_i={\mathbf{e}}_i$。故正交矩阵 $V=E$ ，奇异值为 ${\sigma }_i=|d_i|$ ， $\Sigma =|D|$，根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 得 ${\mathbf{u}}_i=D{\mathbf{e}}_i/|d_i|=sign(d_i){\mathbf{e}}_i$ 即 $U=sign(D)E$ ，故对角阵的奇异值分解为 $D=U\Sigma V^T=(sign(D)E)|D|E^T$。