特征选择之SVD分解

Singular Value Decomposition

奇异值分解( The singular value decomposition ) 是线性代数中一种重要的矩阵分解。能够用小得多的数据表示原始数据集，并且能够去除噪声和冗余。

优缺点

优点：可去除噪声，降维
缺点：只适用数值型数据

理论知识

SVD是讲原始数据矩阵Data分解成三个矩阵 ⋃,∑,VT
若原始矩阵D是m*n
则 ⋃ 是m*m
∑ 是m*n
VT 是n*n
Dm∗n=Um∗mΣm∗nVTn∗n

Σ 是对角矩阵，对角值从大到小排列，称为奇异值，对应原始数据的奇异值

选几个维度还是尽可能的保留足够的信息的条件下对以后的工作尽可能的好。