机器学习主成分分析

机器学习主成分分析

（个人理解：从高维降到低位从而可以计算）
主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

数据降维
PCA主要通过把数据从高维映射到低维来降低特征维度

找线的方法，让点到直线距离最小

PCA原理及实现
从 k=2->1 k=3->2(降维)

注意1：虽然PCA有降维的效果，也许对避免过拟合有作用，但是最好不要用PCA去作用于过拟合。

注意2：在训练集中找出PCA的主成分，（可以看做为映射 mapping），然后应用到测试集和交叉验

算法流程
1）去平均值，即每一位特征减去各自的平均值；

（2）计算协方差矩阵；

（3）计算协方差矩阵的特征值与特征向量；

（4）对特征值从大到小排序；

（5）保留最大的个特征向量；

（6）将数据转换到个特征向量构建的新空间中。

PCA算法实现一般流程：

（1）对数据进行归一化处理；

（2）计算归一化后的数据集的协方差矩阵；

（3）计算协方差矩阵的特征值和特征向量；

（4）保留最重要的k个特征（通常k要小于n）；

（5）找出k个特征值相应的特征向量

（6）将m * n的数据集乘以k个n维的特征向量的特征向量（n * k）,得到最后降维的数据。

PCA降维准则：

（1） 最近重构性：样本集中所有点，重构后的点距离原来的点的误差之和最小。

（2） 最大可分性：样本在低维空间的投影尽可能分开。