机器学习：降维

降维

目标

1. 数据压缩
2. 可视化

主成分分析（PCA）

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

• 计算协方差矩阵
• 奇异值分解计算特征向量
• 由特征向量计算降维后的表示 z

压缩重现

主成分数量选择

PCA 的使用

定义 X 到 Z 的映射。

PCA 的作用：

• 数据压缩
  • 减少内存或硬盘的数据存储
  • 提高算法的运行效率
• 可视化
• 错误使用：避免过拟合（可能有效果，但不是一个好的解决办法）

在使用 PCA 之前，先使用原始的数据尝试，如果没有达到效果再考虑使用 PCA。