机器学习算法(LDA PCA SVD)

LDA：

线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法。

PCA是数据预处理使用，主要用来降维，无监督学习。LDA是一个分类算法，监督学习，使用类别标签。

核心思想：在低纬度上投影获得一个W，使得类间的耦合度最低，类内部的耦合度最大，

通过一定的数学计算，最后获得d个较大的特征值所对应的特征向量，组成新的子空间，将原向量投影到新的纬度上，实现降维。发现新的数据分布，类间距离较大，同类距离较小，实现了线性的分类。

特征值是类间矩阵的逆与类内矩阵的乘的特征值。

一般是先用PCA降维处理数据后，再用此方式分类。

参考：http://blog.csdn.net/szv123_rier/article/details/8766538

PCA:

PCA其实就是基的变换，变换后的空间中，所有点的方差最大（最大表示波动大，对于训练数据，波动太小，说明取得点都相似，说明不了问题；对于模型需要方差较小）

通常会用SVD方法进行特征值计算。（求得奇异值对应的特征向量，（即为基向量））

SVD分解 ：

UV 分解：

U是M和M的转置的特征向量，特征值都是对角M的奇异值（或者M*M转置 的特征值）

V是M的转置和M的特征向量，特征值都是对角M的奇异值（或者M*M转置 的特征值）

注意理解U、V的含义