矩阵分解 - 奇异值分解SVD(计算)

本篇介绍矩阵分解中最重要的分解方式
奇异值分解 - Singular Value Decomposition (SVD)

一 定义 : 给定一个$m\times n$的矩阵M,可以将其作如下形式的分解
$$W=U\Sigma V^T$$

二 计算过程与说明
构造一个辅助矩阵:
$$C=W^{T}W=V{D}_1{V}^T=V{\Sigma }^T\Sigma V^T=(V{\Sigma }^T{U}^T)\underline{(U\Sigma V^T)}$$
$$B=W{W}^T=U{D}_2{U}^T=V\Sigma {\Sigma }^T{U}^T=(U{\Sigma }^T{V}^T)(V\Sigma U^T)$$
此时,划线部分就是我们想要的分解方式.
两个式子基本一样,对第一个式子作一些说明,第二个类似

说明1: 第一个等式是我们构造的矩阵定义
说明2: 第二个等式是矩阵的特征值分解,因为C一定是一个实对称方阵（证明很简单），所以可以进行正交相似变换
说明3: 将特征值对角阵D开方,得到奇异值矩阵 $\Sigma$
说明4: 因为$U^{T}U=E$(正交相似变换的性质),所以这样添加对等式没影响.
说明5: $C$和$B$特征值是相同的（记得本科学的矩阵特征值的性质）,具体的特征矩阵要跟C和B规模最大的匹配
说明6: $C$和$B$的规模分别为$n\times n$ 和 $m\times m$，但是他们特征值其实是相同的。
$${\Sigma }^T\Sigma ={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{n\times n}\Sigma {\Sigma }^T={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{m\times m}$$
这样构造后就可以发现成功了
若$$W=(U\Sigma V^T)$$
则$$W^T=(U\Sigma V^T{)}^T=(V{\Sigma }^T{U}^T)$$
那直接就让 $W=(U\Sigma V^T)$ 好了,分解就完了啊.
我们发现$U$就是$C$特征值分解后的左奇异矩阵,V就是B特征值分解后的右奇异矩阵,$\Sigma$ 就是 奇异值 对角矩阵.

三 举例说明计算过程:
对下面的矩阵作SVD
$$W=\left(\begin{array}{ccc}4& 0& 5\\ 0& 0& 5\end{array}\right)$$

1. 先计算B:
   $$B=W^{T}W=\left(\begin{array}{cc}41& 25\\ 41& 25\end{array}\right)$$
2. 对B进行EVD:
   $$B=UD{U}^T=\left(\begin{array}{cc}0.81& -0.59\\ 0.59& 0.81\end{array}\right)\left(\begin{array}{cc}59.2& 0\\ 0& 6.75\end{array}\right)\left(\begin{array}{cc}0.81& 0.59\\ -0.59& 0.81\end{array}\right)$$
3. 可以知道U和\Sigma了,由于C是个33的方阵,B是一个22的方阵,最终的奇异值矩阵要符合乘法规律,所以要适当的添0.
   $$U=\left(\begin{array}{cc}0.81& -0.59\\ 0.59& 0.81\end{array}\right)$$
   $$\Sigma =D^{1/2}=\left(\begin{array}{ccc}7.70& 0& 0\\ 0& 2.60& 0\end{array}\right)$$
4. 同理计算C的特征值分解,并得到V:
   $$C=VD{V}^T=\left(\begin{array}{ccc}0.42& -0.91& 0\\ 0& 0& 1\\ 0.91& 0.42& 0\end{array}\right)\left(\begin{array}{ccc}59.2& 0& 0\\ 0& 6.75& 0\\ 0& 0& 0\end{array}\right)\left(\begin{array}{ccc}0.42& -0& 0.91\\ -0.91& 0& 0.42\\ 0& 1& 0\end{array}\right)$$
   $$V=\left(\begin{array}{ccc}0.42& -0.91& 0\\ 0& 0& 1\\ 0.91& 0.42& 0\end{array}\right)$$
5. 最终
   $$W=\left(\begin{array}{ccc}4& 0& 5\\ 0& 0& 5\end{array}\right)=\left(\begin{array}{cc}0.81& -0.59\\ 0.59& 0.81\end{array}\right)\left(\begin{array}{ccc}7.70& 0& 0\\ 0& 2.60& 0\end{array}\right)\left(\begin{array}{ccc}0.42& -0.91& 0\\ 0& 0& 1\\ 0.91& 0.42& 0\end{array}\right)$$

四 也可以把SVD看作多个矩阵的叠加.
$$W=7.70\left(\begin{array}{c}0.81\\ 0.59\end{array}\right)\left(\begin{array}{ccc}0.42& 0& 0.91\end{array}\right)+2.60\left(\begin{array}{c}0.59\\ 0.81\end{array}\right)\left(\begin{array}{ccc}-0.91& 0& 0.42\end{array}\right)$$
完全的奇异值分解在matlab是svd,而如果把奇异值看作矩阵的权重,把奇异值比较小的部分舍弃而不会造成太大影响,这就是截断式奇异值分解,对应matlab中的svds
矩阵的分解推广到张量上,就是高阶奇异值分解(HOSVD)其具体的形式有很多,比如,CP分解,Tucker分解,HT分解,TT分解.

五 代码实现
可以先看下numpy.linalg中的svd函数,里面有详细的介绍和例子

import numpy as np
m = np.array([[1,2,5],[8,3,4],[0,0,0]])
U, S, V = np.linalg.svd(m)
print("U矩阵是：")
print(U)
print("S矩阵是：")
print(S)
print("V矩阵是：")
print(V)

注意matlab中的svd和python还是有区别的，如果不仔细看文档说明容易出错：
Python： $M=USV$
Matlab: $M=US{V}^T$