统计学习方法学习笔记：第十五章.奇异值分解

第十五章：奇异值分解（SVD:singular value decomposition）

定义与性质

将一个$非零的$的$m\times n$的实矩阵A，表示为以下三个矩阵乘积的运算：

$A=U\Sigma V^T，这里是完全奇异值分解$

其中，U是m阶正交阵，V是n阶正交阵
$满足U{U}^T=E,V{V}^T=E，对应着坐标系的旋转或反射变换$

$\Sigma$是$m\times n$矩形对角矩阵（只有对角线上的元素非零）
$满足\Sigma =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_p),{\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_p\ge 0;p=min(m,n)，对应着坐标轴的缩放变化，$

$任意实矩阵A的奇异值分解均存在$

紧奇异值分解与截断奇异值分解：

$A=U_k{\Sigma }_k{V}_k^T$；
$U_k,V_k分别对应着完全分解中U,V的前k列，{\Sigma }_k由\Sigma 的前k个对角线元素构成$

假设矩阵 A 的秩为 r：

k = r ：紧奇异值分解是和原矩阵$等秩$的奇异值分解，对应着$无损压缩$

k < r ：上式分解中的等号要变成约等号，截断奇异值分解是比原矩阵$低秩$的奇异值分解，对应着$有损压缩$

主要性质：

1. $V$的列向量是$A^{T}A$的特征向量，$U$的列向量是$A{A}^T$的特征向量，$\Sigma$的奇异值是$A^{T}A$和$A{A}^T$特征值的平方根
2. $A{v}_j={\sigma }_j{u}_j,$ $U、V$的向量之间存在着对应关系，
3. 奇异值是唯一的，但是$U、V$不唯一
4. $A$的秩等于正奇异值的个数（包括重复的）

奇异值的计算

求解对称矩阵$A^{T}A$的特征值和特征向量，

1. 求解$A^{T}A$的特征值和特征向量
2. 求解$V$
3. 求解对角阵$\Sigma$
4. 求解正交阵$U$：通过$A{v}_j={\sigma }_j{u}_j$求得$U$的前r列（只有r个奇异值非零），然后求解$A^{T}x=0$线性方程组（因为U的后m-r列构成零空间R(A^T)的一组标准正交基）

$实际应用并不直接计算A^{T}A,有许多其他的求解奇异值分解的算法；$

矩阵的最优近似

弗罗贝尼乌斯范数：

$||A||=(\sum _{i=1}^m\sum _{j=1}^n(a_{ij}{)}^2{)}^{\frac{1}{2}}=({\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2{)}^{\frac{1}{2}}$

定理：在秩不超过$k$的$m\times n$的矩阵的集合$M$中，存在矩阵 $A$ 的弗罗贝尼乌斯范数意义下的最优近似矩阵 $X$,使得：
$||A-X|{|}_F=\underset{S\in M}{\min }||A-S|{|}_F=({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2{)}^{\frac{1}{2}}$

而$A^{\prime }=U{\Sigma }^{\prime }{V}^T，就是这样一个最优矩阵$，${\Sigma }^{\prime }$为前k个奇异值构成的$m\times n$的对角矩阵;

矩阵的外积展开式：

$A=\sum _{k=1}^n{\sigma }_k{u}_k{v}_k^T={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_n{u}_n{v}_n^T$,将矩阵$A$分为矩阵的有序加权和；$u_k{v}_k^T$为一个$m\times n$矩阵，是两个向量的外积，

若矩阵$A_k={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_k{u}_k{v}_k^T$，则$A$的秩为$k$,且$A_k$是秩为k的矩阵中在弗罗贝尼乌斯范数意义下$A$的最优近似矩阵，矩阵$A_k$就是矩阵$A$的截断奇异值分解；

$一般情况下，{\sigma }_i递减很快，所以即使k取很小值，A_k也能对A有很好的近似$