矩阵特征值分解（EVD）和奇异值分解（SVD）总结

1. 特征值分解（EVD）

实对称矩阵

在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵 $A$ 是一个 $m\times m$ 的实对称矩阵（即 $A=A^T$），那么它可以被分解成如下的形式
$$A=Q\Sigma Q^T=Q\left[\begin{array}{cccc}{\lambda }_1& \dots & \dots & \dots \\ \dots & {\lambda }_2& \dots & \dots \\ \dots & \dots & \ddots & \dots \\ \dots & \dots & \dots & {\lambda }_m\end{array}\right]Q^T$$
其中 $Q$ 为标准正交阵，有 $Q{Q}^T=I$，$\Sigma$为对角矩阵，上面的矩阵维度均为 $m\times m$。${\lambda }_i$ 称为特征值，$q_i$ 是 $Q$（特征矩阵）中的列向量，称为特征向量。它们之间的关系有 $A{q}_i={\lambda }_i{q}_i$，$q_i^T{q}_j=0(i\ne j)$
这里的特征值分解需要被分解的矩阵$A$为实对称矩阵，但是现实中，我们所遇到的问题一般不是实对称矩阵。那么当我们碰到一般的矩阵，即有一个 $m\times n$ 的矩阵 $A$，它是否能被分解成上面的形式呢？当然是可以的，这就是我们下面要讨论的内容。

2. 奇异值分解（SVD）

1. 定义

一个 $m\times n$的实数矩阵$A$，我们需要把它分解成如下的形式
$$A=U\Sigma V^T$$
其中 $U$ 和 $V$ 均为单位正交阵，有 $U{U}^T=I$，$V{V}^T=I$，$U$ 称为左奇异矩阵，$V$ 称为右奇异矩阵，$\Sigma$ 仅在主对角线上有值，称为奇异值，其他元素均为0。上面矩阵的维度分别为 $U\in R^{m\times m}$，$\Sigma \in R^{m\times n}$，$V\in R^{n\times n}$。
那么 $\Sigma$有如下形式
$$\Sigma ={\left[\begin{array}{cccc}{\sigma }_1& 0& 0& 0\\ 0& {\sigma }_2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{m\times n}$$

2. 奇异值分解

我们可以利用下面的方法求解 $U,V,\Sigma$
$$\begin{gathered} A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T \\ {A}^{T}A=V\Sigma U^{T}U{\Sigma }^T{V}^T=V{\Sigma }^T\Sigma V^T \end{gathered}$$
这里 $\Sigma {\Sigma }^T$ 和 ${\Sigma }^T\Sigma$ 是不相等的，因为它们的维数不同，$\Sigma {\Sigma }^T\in R^{m\times m}$，${\Sigma }^T\Sigma \in R^{n\times n}$，但是它们在主对角线上的奇异值是相等的，即
$$\Sigma {\Sigma }^T={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{m\times m}{\Sigma }^T\Sigma ={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{n\times n}$$
我们知道 $A{A}^T$ 和 $A^{T}A$ 都是对称矩阵，那么就可以对它们做特征值分解，分别得到矩阵 $U$ 和 $V$，对 $\Sigma {\Sigma }^T$ 或 ${\Sigma }^T\Sigma$ 中的特征值开方，就可以得到所有的奇异值。

3. 求解步骤

1. 先分别求解矩阵 $A{A}^T$ 和 $A^{T}A$ ；
2. 利用
   $$\begin{gathered} A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T \\ {A}^{T}A=V\Sigma U^{T}U{\Sigma }^T{V}^T=V{\Sigma }^T\Sigma V^T \end{gathered}$$
   进行特征值分解，得到矩阵 $U$ 和 $V$；
3. 对2中求得的矩阵 $\Sigma {\Sigma }^T$ 或 ${\Sigma }^T\Sigma$ 的特征值开方，最终得到所有的奇异值。

参考

SVD（奇异值分解）小结