机器学习（十）-------- 降维(Dimensionality Reduction)

降维(Dimensionality Reduction)

降维的目的：1 数据压缩

这个是二维降一维 三维降二维就是落在一个平面上。

2 数据可视化
降维的算法只负责减少维数，新产生的特征的意义就必须由我们自 己去发现了。

主成分分析(PCA)是最常见的降维算法。

在 PCA 中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据
都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。

主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差（Projected
Error），而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果，而主成分分析
不作任何预测。

上图中，左边的是线性回归的误差（垂直于横轴投影），右边则是主要成分分析的误差
（垂直于红线投影）。

PCA 将?个特征降维到?个，可以用来进行数据压缩，如果 100 维的向量最后可以用 10
维来表示，那么压缩率为 90%。同样图像处理领域的 KL 变换使用 PCA 做图像压缩。但 PCA
要保证降维后，还要保证数据的特性损失最小。
PCA 技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要
性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模
型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。
PCA 技术的一个很大的优点是，它是完全无参数限制的。在 PCA 的计算过程中完全不
需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与
用户是独立的。
但是，这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识，掌握了
数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，
效率也不高。

PCA 减少?维到?维：
第一步是均值归一化。我们需要计算出所有特征的均值，然后令 ?? = ?? − ??。如果特
征是在不同的数量级上，我们还需要将其除以标准差 ?2。
第二步是计算协方差矩阵（covariance matrix）?： ∑ = 1 ?
∑ (?(?)) ? ?=1 (?(?))?
第三步是计算协方差矩阵?的特征向量（eigenvectors）:

转载于:https://www.cnblogs.com/tree1123/p/11076516.html