Raki的统计学习方法笔记0xF(15)章：奇异值分解

奇异值分解是一种矩阵因子分解方法，是线性代数的基础概念，在统计学习中被广泛运用，PCA, LSA,pLSA都要用到SVD，而EM,LSA,MCMC,又是LDA的基础，故有了这个笔记顺序

任意一个 m * n矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别是
m阶正交矩阵，由降序排列的非负的对角线元素组成的m * n 矩形对角矩阵 ，n阶正交矩阵
成为该矩阵的奇异值分解，矩阵的奇异值分解一定存在但是不唯一。

奇异值分解可以看做是矩阵数据压缩的一种方法，即用因子分解的方式近似表示原始矩阵，这种近似是在平方损失意义下的最优近似

实际应用中一般使用截断奇异值矩阵，即将高维稀疏矩阵压缩为低维稠密矩阵，保留其大部分的信息

紧奇异值分解对应无损压缩，其对角矩阵的秩跟原矩阵的秩是相等的，比秩多的行可以认为是冗余部分，而紧奇异值分解就是舍弃了这个冗余部分

截断奇异值分解对应有损压缩，其保留原矩阵的大部分信息

几何解释

1. 一个坐标系的旋转或反射变换
2. 一个坐标轴的缩放变换
3. 另一个坐标系的旋转或反射变换

图像例子

SVD-矩阵奇异值分解 —— 原理与几何意义

原图：

设置 k = 10，得到的压缩图：

k = 20：

k = 30：

继续增加 k 值，将会得到越来越接近原始图的压缩图

计算

奇异值分解（SVD）

学会了奇异值分解之后，我们就可以愉快的学习后面的LSA等算法了~