概述

奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分解方法，区别于只适用于实对称矩阵的特征分解方法，奇异值分解可对任意实矩阵进行分解。

特征分解

特征分解（eigendecomposition）又叫谱分解（Spectral decomposition），是把一个矩阵根据其特征值和特征向量分解的过程，只有可以正交化的矩阵才可以进行特征分解。

为阶方阵，若存在维非零向量使得：

则称为矩阵的特征值，为属于的特征向量（eigenvector）。

有了上述定义，接下来讨论如何计算一个矩阵的特征值和特征向量。由定义可知：

其中为单位矩阵，显然上式的推导结果是一个元次的齐次线性方程组，为该方程组的一个非零解，则有，其中称为的特征方程，称为的特征多项式。基于此，可得到求解方阵A特征值和特征向量的步骤如下：

1、计算方阵A的特征多项式；

2、求出特征方程的所有根（包括复根和重根），这些根即为的所有特征值；

3、对于的每一个特征值，求解齐次线性方程组，该方程组的每一个非零解都是属于特征值的特征向量；

求出矩阵的特征值和特征向量后，若矩阵有个线性独立的特征向量，那么是可以正交化的，此时的特征分解为：

其中时个特征向量所组成的维矩阵，为以这个特征值为主对角线元素的对角阵。

奇异值分解

定义

若为一个阶的矩阵，则存在一个分解，使得：

其中为阶酉矩阵、为阶酉矩阵、为的非负实对角矩阵。称此分解为奇异值分解，一般我们将中的每一个特征向量叫做的右奇异向量，将中的每个特征向量叫做左奇异向量，对角线上的元素称为的奇异值，当规定奇异值降序排列时，可唯一确定一个。

有了定义，接下来需要确定奇异值分解的三个矩阵。比较直观的想法是通过来构造一个方阵来进行特征分解，间接计算，由于分别为和的方阵，则有：

注意到：

其中，分别为中第个特征向量。这个式子提供了一种计算奇异值的方法，另一种思路是结合式（5）：

即，特征值矩阵为奇异值矩阵的平方，故可以通过计算的特征值取平方根来计算奇异值。
SVD的计算步骤

1.计算和；

2.分别计算和的特征向量和特征值；

3.的特征向量组成，而的特征向量组成；

4.对和的非零特征值求平方根，对应上述特征向量的位置，填入对角阵的位置；
计算示例

接下来以计算矩阵的奇异值分解为例，来进一步熟悉：

第一步，先计算的两个转置积：
$\begin{equation} \begin{split} &A^TA=\begin{pmatrix} 0 & 1 & 1 \\ 1 & 1 & 0 \end{pmatrix}\begin{pmatrix} 0 & 1 \\ 1 & 1 \\ 1 & 0\end{pmatrix} = \begin{pmatrix}2 & 1 \\ 1& 2\end{pmatrix} \\ &AA^T = \begin{pmatrix}0 & 1 \\ 1 & 1 \\ 1 & 0\end{pmatrix}\begin{pmatrix}0 & 1 &1 \\ 1 & 1 & 0\end{pmatrix}=\begin{pmatrix}1 & 1 & 0 \\ 1 & 2 & 1 \\ 0 & 1 & 1\end{pmatrix} \end{split} \end{equation}$
第二步，分别计算两个转置积的特征值和特征向量：
$\begin{equation} \begin{split} &\color{#F00}{(A^TA-\lambda I)x = 0} \Rightarrow |A^TA-\lambda I|=0 \\ &\Rightarrow \begin{vmatrix} 2-\lambda & 1 \\ 1 & 2-\lambda \end{vmatrix} = 0 \Rightarrow \lambda^2-4\lambda+3=0 \end{split} \end{equation}$
容易得到式（9）中一元二次方程的根为，当时，将特征根分别带入式（1）中，得到：
$\begin{equation} \begin{split} &&(A^TA-3I)x = 0 \Rightarrow\begin{pmatrix}-1 & 1 \\ 1 & -1\end{pmatrix}x= 0 \Rightarrow\begin{pmatrix}-1 & 1 \\ 1 & -1\end{pmatrix}\begin{pmatrix}x_1 \\ x_2\end{pmatrix}= 0 \\ \end{split} \end{equation}$
此时的单位特征向量为：

同理得到：

同理计算的特征根和特征向量：
$\begin{equation} \begin{split} &\lambda_1=3，u_1= \begin{pmatrix} \frac{1}{\sqrt{6}} \\ \frac{2}{\sqrt{6}} \\ \frac{1}{\sqrt{6}} \end{pmatrix}； &\lambda_2 = 1，u_2 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ 0 \\ -\frac{1}{\sqrt{2}} \end{pmatrix}； &\lambda_3 = 0，u_3 = \begin{pmatrix} \frac{1}{\sqrt{3}} \\ -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{3}} \end{pmatrix} \end{split} \end{equation}$

第三步，使用两个转置积的单位特征向量构造矩阵：
$\begin{equation} \begin{split} &U =(u_1,u_2,u_3)= \begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix} \\ &V^T = (v_1,v_2)^T= \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} \end{split} \end{equation}$
第四步，计算奇异值，直接使用计算奇异值并组成对角阵：

最终得到矩阵的奇异值分解：
$A= UDV^T =\begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix}\begin{pmatrix} \sqrt{3} & 0\\ 0 & 1\\ 0 & 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$

应用

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵：

这样处理的好处是，我们可以用三个较小的矩阵来表示一个大矩阵，如下图所示，使用三个灰色部分的小矩阵来表示大矩阵。

SVD

由于这个重要的性质，SVD可以用于PCA降维，来做图片数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

Note：

需要注意的是，奇异值分解中特征值的求解是比较核心的地方，在工程应用中，往往需要进行奇异值分解都是大矩阵，对这类大矩阵，如果采用上面的方法求解特征值需要花费较多的时间和资源。对此，可以采用乘幂法和反幂法或者QR方法来近似求解矩阵的特征根，在此不做进一步展开，有兴趣的读者可以进一步了解一下。

基本概念说明

矩阵的子式

设有矩阵A，在中任意取定个行和个列（），位于这些行与列交叉处的元素按原来的相对顺序排成一个阶行列式，称它为矩阵的一个阶子式，特别地，中每一个元素就是的一阶子式。
　　对于确定的，在矩阵中，总共有个阶子式，这些子式的值有的可能是零，也可能不为零，把值不为零的子式称为非零子式。
矩阵的秩

在矩阵中，非零子式的最高阶数称为矩阵的秩，记为或秩规定零矩,规定零矩阵的秩为零。

推论1：

中所有阶子式（如果有的话）全为零，而中至少有一个阶子式非零。
矩阵的谱半径

为阶方阵，为其特征值，则的谱半径定义如下：

即方阵的谱半径为特征值中绝对值最大的那个值。
正定矩阵

如果对于所有的非零实系数向量，都有，则称矩阵是正定的。正定矩阵的行列式必然大于0，所有特征值也必然大于0。相对应的，半正定矩阵的行列式必然 ≥ 0。
正交矩阵

若一个方阵其行与列皆为正交的单位向量（即二者的内积为0），则该方阵为正交矩阵。
酉矩阵

酉矩阵（unitary matrix）是一种特殊的方阵，它满足（为的共轭转置，其在转置的基础上，增加了复数的共轭）。酉矩阵实际上是推广的正交矩阵（orthogonal matrix）；当酉矩阵中的元素均为实数时，酉矩阵实际就是正交矩阵。另一方面，由于，所以酉矩阵满足；事实上，这是一个矩阵是酉矩阵的充分必要条件。
正规矩阵

同酉矩阵一样，正规矩阵（normal matrix）也是一种特殊的方阵，它要求在矩阵乘法的意义下与它的共轭转置矩阵满足交换律，即。显然，复系数的酉矩阵和实系数的正交矩阵都是正规矩阵。
谱定理和谱矩阵

矩阵的对角化是线性代数中的一个重要命题。谱定理（spectral theorem）给出了方阵对角化的一个结论：若矩阵是一个正规矩阵，则存在酉矩阵，以及对角矩阵，使得。也就是说，正规矩阵，可经由酉变换，分解为对角矩阵；这种矩阵分解的方式，称为谱分解（spectral decomposition）。

参考文章
- 奇异值分解原理与在降维中的应用
- 一步步教你轻松学奇异值分解SVD降维算法
- 统计计算-奇异值分解

奇异值分解

概述

特征分解

奇异值分解

应用

基本概念说明

参考文章

你可能感兴趣的:(奇异值分解)