奇异值分解我写过一个简短的理解，记录于https://www.jianshu.com/p/8c7dac32620f，
这次又写一遍完全是因为《统计学习方法》的奇异值分解讲得太详细了，占了25页的篇幅，且大致翻看后面章节后发现奇异值分解的应用很多，因此决定对奇异值分解再重新学习一遍。

1、奇异值分解的定义与基本性质

任意一个矩阵，都可以表示为三个矩阵的乘积（因子分解）形式：

其中是阶正交矩阵、是由降序排列的非负的对角线元素组成的矩形对角阵、是阶正交矩阵。即这三个矩阵满足：

称为矩阵的奇异值分解（singular value decomposition，SVD）。

奇异值分解基本定理：若为一个实矩阵，，则的奇异值分解存在。

证明：

证明是构造性的，对给定矩阵，不妨设。

（1）确定和。

矩阵是实矩阵，则是阶实对称矩阵，因而的特征值都是实数，且存在一阶正交实矩阵实现的对角化，使得，其中是阶对角矩阵，其对角线元素由的特征值组成，且的特征值都是非负的。事实上，令是的一个特征值，是对应的特征向量，则：

于是：

假设正交矩阵的列的排列使得对应特征值形成降序排列：

计算特征值平方根（实际就是矩阵的奇异值）：

设矩阵的秩为，则矩阵的秩也为（通过证明和同解即可证明）。由于是对称矩阵，它的秩等于正的特征值的个数（因为和与其相似的对角矩阵秩相等，而对角元素是的特征值）。所以：

从而：

令：

其中为正特征值对应的特征向量组成的矩阵，则为0特征值对应的特征向量组成的矩阵。从而可以写成：

这就是矩阵的奇异值分解中的正交矩阵。

令：

于是矩阵对角矩阵可以表示为：

这就是矩阵奇异值分解中的。

（2）确定

令：

则有：

的列向量构成了一组标准正交基，因为：

$\begin{aligned} u_i^T u_j&=(\frac{1}{\sigma_i}v_i^T A^T)(\frac{1}{\sigma_j}Av_j)\\ &=\frac{1}{\sigma_i \sigma_j}v_i^T(A^T Av_j)\\ &=\frac{1}{\sigma_i \sigma_j}v_i^T(\sigma_j^2 v_j)\\ &=\frac{\sigma_j}{\sigma_i}v_i^T v_j\\ &=\delta_{ij},\quad i=1,2,\dots,r,\quad j=1,2,\dots,r \end{aligned}$

因为时，和正交。故有：

所以的列向量构成了一组标准正交基。

若将看成从到的线性变换，则的列空间和的值域相同。因此也是的一组标准正交基。因为（即的零空间和的正交补相同），故的维数为。

令为的一组标准正交基，并令：

则构成了的一组标准正交基。因此就是的奇异值分解中的阶正交矩阵。

（3）证明

$\begin{aligned} U\Sigma V^T&=[U_1\quad U_2]\lgroup{ \begin{matrix} \Sigma_1&0\\ 0&0 \end{matrix} \rgroup}\lgroup{ \begin{matrix} V_1^T\\ V_2^T \end{matrix} \rgroup}\\ &=U_1\Sigma_1 V_1^T\\ &=AV_1V_1^T\\ &=A \end{aligned}$

至此证明了矩阵存在奇异值分解。

2、紧奇异值分解与截断奇异值分解

上述定理给出的奇异值分解称为矩阵的完全奇异值分解。实际常用的是奇异值分解的紧凑形式和截断形式。紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。

紧奇异值分解定义：

设有实矩阵，其秩为，则称为的紧奇异值分解：

是矩阵，由完全奇异值分解中的前列得到，是矩阵，由完全奇异值分解中的前列得到，是阶对角矩阵，由完全奇异值分解中的前个对角线元素得到。

截断奇异值分解定义：

设有实矩阵，其秩为，且，则称为的截断奇异值分解：

是矩阵，由完全奇异值分解中的前列得到，是矩阵，由完全奇异值分解中的前列得到，是阶对角矩阵，由完全奇异值分解中的前个对角线元素得到。

注意，紧奇异值分解完全还原原矩阵，截断奇异值分解近似还原原矩阵。因此在对矩阵数据进行压缩时，紧奇异值分解对应无损压缩，截断奇异值分解对应有损压缩。

3、几何解释

从线性变换的角度理解奇异值分解，矩阵表示从维空间到维空间的一个线性变换：

，，和分别是各自空间的向量。线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射变换。这就是奇异值分解的几何解释。

上图来自《统计学习方法》。我们可以很直观地看到奇异值分解的几何意义。

4、奇异值分解的计算

其实奇异值分解的计算过程已经蕴含在奇异值分解基本定理中了，对给定矩阵，计算过程如下：

（1）计算的特征值和对应的特征值向量。

（2）将特征向量单位化，得到单位特征向量构成阶正交矩阵：

（3）计算的奇异值：

构造矩阵，主对角线元素为奇异值，其余元素为。

（4）对前个正奇异值，令：

得到：

求零空间的一组标准正交基，令：

则：

5、奇异值分解于矩阵近似

这部分内容是我没有接触过的，我以前只知道SVD和PCA类似，都可以做降维（其实PCA是SVD的特殊情形），但并没有从矩阵近似和压缩的角度看待过SVD。这一部分内容证明了一个结论：奇异值分解是在平方损失意义下对矩阵的最优近似。

首先定义矩阵的平方损失函数（也称为弗罗贝尼乌斯范数）：

设矩阵，，定义矩阵的平方损失函数为：

下面证明一个结论：

证明：

一般地，若是阶正交矩阵，则：

这是因为：

同理，若是阶正交矩阵，则：

因此：

即：

有了上述结论，我们接下来证明奇异值分解是在平方损失意义下对矩阵的最优近似。

定理1 设矩阵，，设为中所有秩不超过的矩阵集合，，则存在一个秩为的矩阵，使得：

称矩阵为矩阵在平方误差下的最优近似。

定理2 设矩阵，，有奇异值分解，并设为中所有秩不超过的矩阵的集合，，若秩为的矩阵满足：

则：

特别地，若，其中：

$\Sigma^{'}=\left\{ \begin{matrix} \sigma_1 & & & & \\ & \sigma_2 & & & \\ & & \dots & & \\ & & & \sigma_k & \\ & & & & 0& \\ & & & & & \dots& \\ & & & & & & 0& \\ \end{matrix} \right\}$

则：

定理2的具体证明过程见《统计学习方法》。

奇异值分解

1、奇异值分解的定义与基本性质

2、紧奇异值分解与截断奇异值分解

3、几何解释

4、奇异值分解的计算

5、奇异值分解于矩阵近似

你可能感兴趣的:(奇异值分解)