【Machine Learning】14 降维（Dimensionality Reduction）

14.1 Motivation I：Data Compression

    

2维做投影用1维数据来表示                                                   3维做投影用2维数据来表示

投影的线或平面可以理解为新的坐标系。

 

14.2 Motivation II：Visualization

降维后新的特征向量所表示的意义需要自己去确定

 

14.3 Principal Component Analysis Problem Formulation

在PCA中我们要将n维数据降为k维，找到向量使得原数据在此k维空间上的投影误差最小。

   

这里要注意一下PCA与线性回归的区别，PCA最小化投影误差，线性回归最小化预测误差。

实际上，PCA的最小化目标就表明了希望降维得到的新特征能够尽可能的表示原始数据含有的信息，特征损失最小。

 

14.4 Principal Component Analysis Algorithm

PCA算法步骤：

1.均值归一化：计算均值、标准差，得到

2.计算协方差矩阵：

3.，这里的矩阵U就是特征向量矩阵，我们取前k个就是n->k维所需的特征。

 

14.5 Choosing The Number Of Principal Components

k的值如何取定呢？我们利用的S矩阵：

S可以看作Sigma的特征值矩阵，依特征值和占总和比的要求选取k。如占比99%就相当于保留了原始数据99%的信息。

14.6 Reconstruction from Compressed Representation

压缩重现：在新的特征下用低维数据表示原始数据。

 

14.7 Advice for Applying PCA

1、压缩：

减少存储量；可以用于之前算法特征过多的降维处理，加速算法。

2、可视化

PCA只是近似地丢弃掉一些特征，它并不考虑任何与结果变量有关的信息，因此可能会丢失非常重要的特征。然而当我们进行正则化处理时，会考虑到结果变量，不会丢掉重要的数据。

不要过早考虑PCA方案。