统计学习-奇异值分解SVD

SVD

SVD定义：
奇异值分解（Singular Value Decomposition,SVD）
是一种矩阵因子分解方法，
是线性代数的概念。

任意一个m*n矩阵，都可以表示为三个矩阵的乘积（因式分解）形式，
分别是m阶正交矩阵、由降序排序的非负的对角线元素组成的m*n矩形对角矩阵和n阶正交矩阵，
称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但不唯一。
奇异值分解可以看做是矩阵数据压缩的一种方法，即用因子分解的方式近似地表示原始矩阵，
这种近似是在平方损失意义下的最优近似。
（AA^T=E或A^T*A=E，E为单位矩阵，A^T表示矩阵A的转置矩阵,则n阶实矩阵A称为正交矩阵）

矩阵的奇异值分解是指，将一个非零的m*n实矩阵A，
A属于R的(m*n)次幂，表示为以上三个实矩阵乘积形式的运算，即进行矩阵的因式分解，
其中U是m阶正交矩阵，
V是n阶正交矩阵，
中间的sigma求和符号∑是由降序排列的非负的对角线元素组成的m*n矩形对角矩阵。

UU^T=I
VV^T=I
∑=diag(1,2,……,p)
1>=2>=……>=p
p=min(m,n)

U∑V^T称为矩阵A的奇异值分解，
i称为矩阵A的奇异值，
U的列向量称为左奇异向量，
V的列向量称为右奇异向量