矩阵的 SVD 分解方法，几何意义

转自：
https://liam.page/2017/11/22/SVD-for-Human-Beings/
更多信息请读者移步原文阅读。
推荐中国台湾周志成老师的线性代数博客
https://ccjou.wordpress.com/
以及书籍《矩阵分析及应用》-- 张贤达
还可参考：
https://www.cnblogs.com/endlesscoding/p/10058532.html

一、一些矩阵基本知识

1.1.矩阵的转置及共轭转置

矩阵的转置（transpose）是最简单的一种矩阵变换。简单来说，若 m×n 的矩阵 M 的转置记为 M^?；则 M^? 是一个 n×m 的矩阵，并且 M_i,j=M^?_j,i。

因此，矩阵的转置相当于将矩阵按照主对角线翻转；同时，我们不难得出 M=(M^?)^?。

关于矩阵的一些性质：
(A + B)^T = A^T + B^T;
(AB)^T = B^TA^T;
(AB)^-1 = B^-1A^-1;
(A^-1)^T = A^T)^-1 （此时A必须是可逆方阵）;

矩阵的共轭转置（conjugate transpose）可能是倒数第二简单的矩阵变换。共轭转置只需要在转置的基础上，再叠加复数的共轭(M^*)即可。因此，若以 M^? 记矩阵 M 的共轭转置，则有
M^H = (M^*)^T = (M^T)^*

1.2.正交矩阵及酉矩阵

满足U^T U = UU^T = E(E为单位矩阵）的实方阵，成为正交矩阵。

酉矩阵（unitary matrix）是一种特殊的复方阵，它满足

UU^?=U^?U=I_n.

不难看出，酉矩阵实际上是推广的正交矩阵（orthogonal matrix）；当酉矩阵中的元素均为实数时，酉矩阵实际就是正交矩阵。另一方面，由于 MM⁻¹=M⁻¹M=I_n，所以酉矩阵 U 满足 U⁻¹=U^?；事实上，这是一个矩阵是酉矩阵的充分必要条件。

1.3.正规矩阵

复方阵M满足MM^?=M^?M，则称M为正规矩阵。
复系数的酉矩阵和实系数的正交矩阵都是正规矩阵。但正规矩阵并不只有酉矩阵或正交矩阵。
例如说，矩阵 $\mathbf{M}=\left(\begin{array}{lll}1& 1& 0\\ 0& 1& 1\\ 1& 0& 1\end{array}\right)$即是一个正规矩阵，但它显然不是酉矩阵或正交矩阵；因为
$\mathbf{M}{\mathbf{M}}^{\mathrm{H}}=\left(\begin{array}{lll}2& 1& 1\\ 1& 2& 1\\ 1& 1& 2\end{array}\right)={\mathbf{M}}^{\mathrm{H}}\mathbf{M}$

酉矩阵相关性质：

1.4 Hermitian矩阵

满足A = A^H 的复方阵称为Hermitian矩阵。

二、谱定理和谱分解

矩阵的对角化是线性代数中的一个重要命题。谱定理（spectral theorem）给出了方阵对角化的一个结论：若矩阵 M 是一个正规矩阵，则存在酉矩阵 U，以及对角矩阵 Λ，使得 M=UΛU^?.

这也就是说，正规矩阵，可经由酉变换，分解为对角矩阵；这种矩阵分解的方式，称为谱分解（spectral decomposition）。

三、奇异值分解（SVD）

谱定理给出了正规矩阵分解的可能性以及分解形式。然而，对于矩阵来说，正规矩阵是要求非常高的。因此，谱定理是一个非常弱的定理，它的适用范围有限。在实际生产中，我们遇到的很多矩阵都不是正规矩阵。对于这些矩阵，谱定理就失效了。作为谱定理的泛化，SVD 分解对于原矩阵的要求就要弱得多。

3.1SVD的定义

SVD 的定义：假设 M 是一个 m×n 的矩阵，其中的元素全部属于数域 ?（实数域 ℝ 或复数域 ℂ）。那么，存在 m×m 的酉矩阵 U 和 n×n 的酉矩阵 V 使得M=UΣV^?,

其中 Σ 是 m×n 的非负实数对角矩阵；并且 Σ 对角线上的元素 Σ_i,i是 M 的奇异值。一般来说，我们偏好将这些奇异值按从大到小的顺序排列，这样一来 Σ 就由 M 唯一确定了。

另一方面，因为 U 和 V 都是酉矩阵，所以 U 和 V 的列向量分别张成 ?m 和 ?n 的一组标准正交基。我们将 U 的列向量记作 $u_i$, 1⩽i⩽m；将 V 的列向量记作 $v_j$,1⩽j⩽n；同时，将 Σ 对角线上的第 i 个元素记作 σ^k,1⩽k⩽min(m,n)。那么，SVD 分解实际可以将矩阵 M 写作一个求和形式
$$\mathbf{M}=\sum _{i=1}^{\min (m,n)}{\sigma }_i{u}_i{v}_i^{\top }$$

3.2 SVD 的计算方法

了解了 SVD 的介绍和相关几何解释之后，接下来最直接想要知道的就是如何计算一个矩阵的 SVD 了。我们分成几步来探讨这个问题。

3.2.1SVD 与特征值

我们对求特征值和特征向量比较熟悉，一般分两步：

1. 求出所有使矩阵A - λI奇异的λ（特征值）即求出det(A - λI) = 0的所有根；
2. 将λ带入A - λI，求出所有使(A - λI)$x$ = $0$ 成立的$x$ ，它们是于λ对应的特征向量；

推论1：若A ∊ ℂ^nxn为Hermitain矩阵，其特征值一定是实数，并且有A= UΣU^H,式中U = [u₁,u₂,…,u_n]^T; Σ = diag(λ₁,λ₂,…,λ_n)。
证明：因为对于任意 Hermitain矩阵A的特征值λ_i都有对于的特征向量$u_i$((!= $0$)满足下列关系：
$$\mathbf{A}{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i,i=1,2,\cdots ,n$$
将这些方程写成矩阵的形式：
$$\mathbf{A}\left[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_n\right]=\left[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_n\right]\left[\begin{array}{ccc}{\mathbf{\lambda }}_1& & 0\\ & \ddots & \\ 0& & {\lambda }_n\end{array}\right]$$
令U = [u₁,u₂,…,u_n]^T; Σ = diag(λ₁,λ₂,…,λ_n)，所以有
$$\mathbf{A}\mathbf{U}=\mathbf{U}\Sigma$$
（?证不下去了，显然下一步要在等式两边同右乘U^H,然后证明U是酉矩阵，即UU^H = E。线性代数中在讲 对称矩阵的性质的时候给出定理：对于n阶实对称矩阵A，存在正交矩阵Q，使得A = QΣQ^T，现在只是把这个推广到复数域上了，可以参考这两个：https://www.zhihu.com/question/38801697
https://blog.csdn.net/BingeCuiLab/article/details/47209037)
现在，假设矩阵 M_m×n 的 SVD 分解是M=UΣV^?，那么我们有
$$\mathbf{M}{\mathbf{M}}^H=\mathbf{U}\Sigma {\mathbf{V}}^H\mathbf{V}{\Sigma }^H{\mathbf{U}}^H=\mathbf{U}\Sigma {\Sigma }^H{\mathbf{U}}^H$$
$${\mathbf{M}}^H\mathbf{M}=\mathbf{V}{\Sigma }^H{\mathbf{U}}^H\mathbf{U}\Sigma {\mathbf{V}}^H=\mathbf{V}\Sigma {\Sigma }^H{\mathbf{V}}^H$$
显然MM^H 和 M^HM都是Hermitian矩阵，用推论1有：
U 的列向量（左奇异向量），是 MM^? 的特征向量；同时，V 的列向量（右奇异向量），是 M^?M 的特征向量；另一方面，M 的奇异值（Σ 的非零对角元素）则是 MM^? 或者 M^?M 的非零特征值的平方根。通过这样将问题转换，我们就可以用求特征值的方法求奇异值了。

3.2.2 SVD的计算

计算出任意矩阵的 SVD 分解的算法步骤：

1. 计算 MM^? 和 M^?M；
2. 分别计算 MM^? 和 M^?M 的特征向量及其特征值；
3. MM^? 的特征向量组成 U；而 M^?M 的特征向量组成 V；
4. 对 MM^? 和 M^?M 的非零特征值求平方根，对应上述特征向量的位置，填入 Σ 的对角元。

Example:对矩阵M = $\left[\begin{array}{ll}2& 4\\ 1& 3\\ 0& 0\\ 0& 0\end{array}\right]$进行奇异值分解。

首先，我们需要计算 MM?，
$$\mathbf{W}=\mathbf{M}{\mathbf{M}}^H=\left[\begin{array}{ll}2& 4\\ 1& 3\\ 0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{llll}2& 1& 0& 0\\ 4& 3& 0& 0\end{array}\right]=\left[\begin{array}{cccc}20& 14& 0& 0\\ 14& 10& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$$
然后，我们求 W 的特征值与特征向量。
$$\left[\begin{array}{cccc}20-\lambda & 14& 0& 0\\ 14& 10-\lambda & 0& 0\\ 0& 0& -\lambda & 0\\ 0& 0& 0& -\lambda \end{array}\right]x=0$$
根据线性方程组的理论，若要该关于$x$ 的方程有非零解，则要求系数矩阵的行列式为 0；也就是
$$\left|\begin{array}{cccc}20-\lambda & 14& 0& 0\\ 14& 10-\lambda & 0& 0\\ 0& 0& -\lambda & 0\\ 0& 0& 0& -\lambda \end{array}\right|=\left|\begin{array}{cc}20-\lambda & 14\\ 14& 10-\lambda \end{array}\right|\left|\begin{array}{cc}-\lambda & 0\\ 0& -\lambda \end{array}\right|=0$$
这也就是 ((20−λ)(10−λ)−196)λ2=0；解得 λ1=λ2=0, λ3=15+√221≈29.866, λ4=15−√221≈0.134。将特征值代入原方程，可解得对应的特征向量；这些特征向量即作为列向量，形成矩阵
$$\mathbf{U}=\left[\begin{array}{cccc}-0.82& -0.58& 0& 0\\ -0.58& 0.82& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$$
同理可解得（注意，MM^? 和 M^?M 的特征值相同）
$$\mathbf{V}=\left[\begin{array}{cc}-0.40& -0.91\\ -0.91& 0.40\end{array}\right]$$
以及 Σ 上的对角线元素由 W 的特征值的算术平方根组成；因此有
$$\mathbf{\Sigma }=\left[\begin{array}{cc}5.46& 0\\ 0& 0.37\\ 0& 0\\ 0& 0\end{array}\right]$$
因此我们得到矩阵 M 的 SVD 分解（数值上做了近似）：
$$\left[\begin{array}{ll}2& 4\\ 1& 3\\ 0& 0\\ 0& 0\end{array}\right]\approx \left[\begin{array}{cccc}-0.82& -0.58& 0& 0\\ -0.58& 0.82& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cc}5.46& 0\\ 0& 0.37\\ 0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}-0.40& -0.91\\ -0.91& 0.40\end{array}\right]$$