算法学习之SVD理论推导

SVD理论简介：

　　老铁，欢迎赶上二路公交车。让我们畅游一下SVD算法的理论推导与应用。奇异值分解（Singular Value Decomposition, SVD）是更为通用化的矩阵分解方式，与特征分解不（矩阵必须为方阵）同，SVD并不要求矩阵为方阵。这样SVD可以应用在图像压缩、去噪、降维、推荐系统等领域。下面就进行简单介绍SVD算法的计算步骤与实例操作。

SVD求解步骤：

　　假设我们需要对矩阵$A$进行SVD分解操作，已知矩阵$A$是一个$m\times n$的矩阵，其中m与n可以相等(特征分解)也可以不等(绝大多数情况不相等)。那么定义矩阵$A$的SVD分解公式如下：
$$A=U\ast \sum \ast V^T\text{\hspace{1em}(1)}$$

参数解释：

　　$U$是一个$m\times m$的矩阵，$\sum$是一个$m\times n$的对角矩阵(即：除了对角线上的元素意外全为0，对角线上的每个元素都为奇异值)，$V$是一个$n\times n$的矩阵。$U$和$V$都是酉矩阵，即满足$U^{T}U=E$，$V^{T}V=E$，其中$E$为单位矩阵。

那么，SVD的求解就是求出公式等号右边矩阵$U$、$\sum$、$V^T$这三个矩阵？

下面我们就来求解上述的$U$、$\sum$、$V^T$三个矩阵步骤如下：

$Step1$: 我们首先使用矩阵$A$乘以$A^T$($A$的转置矩阵)，那么会得到一个$m\times m$的方阵$A{A}^T$。我们对方阵$A{A}^T$进行特征分解，那么得到特征值与特征向量满足下式：

$$(A{A}^T)u_i={\alpha }_i{u}_i$$

　　其中，${\alpha }_i$为方阵$A{A}^T$的特征值，$u_i$为对应的特征向量。

　　我们知道方阵$A{A}^T$为$m\times m$，那么特征分解后有$m$个特征值，同时对应$m$个特征向量$u_i$。将$m$个特征向量$u_i$组成一个$m\times m$的矩阵$U$，就是我们需要求解的公式1的矩阵$U$。

$Step2$: 使用矩阵$A^T$($A$的转置)乘以$A$，那么会得到一个$n\times n$的方阵$A^{T}A$。我们对方阵$A^{T}A$进行特征分解，那么得到特征值与特征向量满足下式：

$$(A^{T}A)v_i={\beta }_i{v}_i$$

　　其中，${\beta }_i$为方阵$A^{T}A$的特征值，$v_i$为对应的特征向量。

　　方阵$A^{T}A$为$n\times n$，那么特征分解后有$n$个特征值，同时对应$n$个特征向量$v_i$，将$n$个特征向量$v_i$组成一个$n\times n$的矩阵$V$，将矩阵$V$转置操作后就是我们需要求解公式1的矩阵$V^T$。

$Step3$: 接下来是要求解出中间的对角矩阵$\sum$，我们知道$\sum$除了对角线上以外都是0，所以我们只需要求解对角线上的奇异值就可以。

$$\sum =\left[\begin{array}{ccccccc}{\sigma }_0& 0& 0& ...& 0& 0& 0\\ 0& {\sigma }_1& 0& ...& 0& 0& 0\\ 0& 0& {\sigma }_2& ...& 0& 0& 0\\ 0& 0& 0& .& 0& 0& 0\\ 0& 0& 0& 0& .& 0& 0\\ 0& 0& 0& 0& 0& .& 0\\ 0& 0& 0& ...& 0& 0& {\sigma }_m\end{array}\right]$$

　　其中，奇异值${\sigma }_0，{\sigma }_1，...，{\sigma }_m$是$m$个奇异值存在一些为0的，假设$m>n$，$k$个奇异值不为零($k<n$)，那么存在$m-k$个为0。

根据公式1进行推导：

$$A=U\ast \sum \ast V^T$$

则有：

$$\to AV=U\sum V^{T}V\to AV=U\sum \to A{v}_i={\sigma }_i{u}_i$$

因此可以得到：

$${\sigma }_i=\frac{A{v}_i}{u_i}$$

　　我们在$Step1$与$Step2$两个步骤分别得出了$u_i$和$v_i$，所以可以轻易计算出每一个对应的奇异值${\sigma }_i$，组合在一起就是中间的对角矩阵$\sum$。

附：

　　证明上述$Step1$与$Step2$用到的默认定理$A{A}^T$特征分解的特征向量$u_i$组成一起就是公式1的矩阵$U$，$A^{T}A$特征分解的特征向量$v_i$组成一起就是公式1的矩阵$V$。

以$U$矩阵为例证明：

$$A=U\sum V^T\to A^T=V\sum U^T$$

所以：

　　$A{A}^T=U\ast \sum \ast V^T\ast V\ast {\sum }^T\ast U^T=U(\sum {)}^2{U}^T$

　　其中对角矩阵${\sum }^T=\sum$，$V^{T}V=V{V}^T=E$为单位矩阵。

证明毕。

我们来进一步分析一下上式：$A{A}^T=U{\sum }^2{U}^T$

　　$A{A}^T=U\sum (U\sum {)}^T$

Solo可以得到特征值矩阵等于奇异值矩阵的平方，满足如下关系式：

$${\sigma }_i=\sqrt{{\alpha }_i}$$

这样，我们可以不用通过求${\sigma }_i=\frac{A{v}_i}{u_i}$，直接通过$A{A}^T$的特征值开平方根求取对应的奇异值${\sigma }_i$。

我们求出所有的奇异值${\sigma }_i$，组成一个$m\times n$的对角矩阵$\sum$。

至此，我们公式1中的三个矩阵求解完毕，SVD算法分解过程结束。

SVD算法实例：

　　上述说完SVD算法求解过程之后，下面我们来进行一个实例计算以加强理解。我们对矩阵$A$的定义如下：

$$A=\left[\begin{array}{cc}1& 1\\ 0& 1\\ 1& 0\end{array}\right]$$

解：

首先计算$A{A}^T$:

$$A{A}^T=\left[\begin{array}{cc}1& 1\\ 0& 1\\ 1& 0\end{array}\right]\ast \left[\begin{array}{ccc}1& 0& 1\\ 1& 1& 0\end{array}\right]=\left[\begin{array}{ccc}2& 1& 1\\ 1& 1& 0\\ 1& 0& 1\end{array}\right]$$

计算$A{A}^T$ 特征值${\alpha }_i$与特征向量$u_i$：

$${\alpha }_1=3，u_1=\left[\begin{array}{c}\frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\end{array}\right]$$

$${\alpha }_2=1，u_2=\left[\begin{array}{c}0\\ \frac{1}{\sqrt{2}}\\ \frac{-1}{\sqrt{2}}\end{array}\right]$$

$${\alpha }_3=0，u_3=\left[\begin{array}{c}\frac{-1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right]$$

则我们将$u_1$、$u_2$、$u_3$组合成矩阵$U$：

$$U=(u_1,u_2,u_3)=\left[\begin{array}{ccc}\frac{2}{\sqrt{6}}& 0& \frac{-1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{-1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]$$

其次计算$A^{T}A$：

$$A^{T}A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$

计算$A^{T}A$矩阵的特征值${\beta }_i$与特征向量$v_i$：

$${\beta }_3=3,v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$$

$${\beta }_1=1,v_2=\left[\begin{array}{c}\frac{-1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$$

则我们将特征向量$v_1$、$v_2$组成矩阵$V$:

$$V=(v_1,v_2)=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{-1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$$

将矩阵$V$转置一下就得到我们公式1的$V^T$。

最后，我们来计算对角矩阵$\sum$的特征值${\sigma }_i$:

求解${\sigma }_i$可以通过公式：

$${\sigma }_i=\frac{A{v}_i}{u_i}$$

或者通过${\sigma }_i=\sqrt{{\alpha }_i}$来进行得到。

我们采取${\sigma }_i=\sqrt{{\alpha }_i}$进行得到奇异值：

$${\sigma }_1=\sqrt{{\alpha }_1}=\sqrt{3}$$

同理：

$${\sigma }_2=\sqrt{{\alpha }_2}=1$$

这样我们的对角矩阵$\sum$如下：

$$\sum =\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ 0& 1\\ 0& 0\end{array}\right]$$

最后我们SVD分解矩阵$A$为如下：

$$\begin{array}{rl}A=& U\sum V^T\\ =& \left[\begin{array}{ccc}\frac{2}{\sqrt{6}}& 0& \frac{-1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{-1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]\ast \left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ 0& 1\\ 0& 0\end{array}\right]\ast \left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{-1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\end{array}$$

　　到此，我们的奇异值SVD分解理论推导告一段落。奇异值分解SVD应用十分广泛，PCA其实可以算作SVD的一个特殊情况进行求取。后期将会对SVD分解方法应用到图像压缩与去噪技术上面，来进行加深理解SVD算法。

最后，如有错误，还请批评指正。到站了，老铁。

参考

https://zhuanlan.zhihu.com/p/29846048
https://www.zhihu.com/question/22237507