【机器学习】课程笔记13_降维(Dimensionality Reduction)

目标1：数据压缩（Motivation Ⅰ: Data Compression）

• 降维： 另一种类型的无监督学习问题。

• 降维原因： 数据压缩；可视化。

• 可以把任何维度的数据降到任何想要的维度，例如将1000维的特征降至100维。可以用于除去冗余特征。

  • 二维降一维：

    

  • 三维降二维：

    

目标2：可视化（Motivation Ⅱ: Data Visualization）

• 降维可以帮助我们将数据可视化。这样做的问题在于，降维的算法只负责减少维数，新产生的特征的意义就必须由我们自己去发现了。

主成分分析问题（Principal Component Analysis Problem Formulation）

• 主成分分析（PCA）： 问题是要将$n$维数据降至$k$维，目标是找到向量$u^{(1)}$,$u^{(2)}$,…,$u^{(k)}$使得所有数据投影到新维度的距离最小。

• 线性回归与主成分分析的比较：

  • 线性回归： 点与直线上点的距离，预测误差。

  • 主成分分析： 投影距离，投射误差（Projected Error）。

    

• PCA可以用来进行数据压缩，例如图像处理领域的KL变换使用PCA做图像压缩。但PCA 要保证降维后，还要保证数据的特性损失最小。

• PCA技术的一个很大的优点是完全无参数限制，不需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的。

  但是，如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。

主成分分析算法（Principal Component Analysis Algorithm）

• 什么是奇异值分解SVD–SVD如何分解时空矩阵
• 步骤：
  • 均值归一化： 计算出所有特征的均值，然后令$x_j=x_j-{\mu }_j$.
  • 特征缩放： 若特征不在同一数量级，还要除以标准差${\sigma }^2$.
  • 计算协方差矩阵（covariance matrix）： $\Sigma =\frac{1}{m}\sum _{i=1}^n(x^{(i)})(x^{(i)}{)}^T$.
  • 计算协方差矩阵$\Sigma$的特征向量（eigenvectors）：
    • 通过奇异值分解（singular value decomposition）来求解：[U, S, v] = svd(sigma)
    • 对于一个$n\times n$维度的矩阵，上式中的$U$是一个具有与数据之间最小投射误差的方向向量构成的矩阵。如果希望将数据从$n$维降至$k$维，只需要取$U$的前$k$个向量，获得一个$n\times k$维度的矩阵，用$U_{reduce}$表示。特征向量为：$z^{(i)}=U_{reduce}^T\ast x^{(i)}$
    • $x$是$n\times 1$维的，因此结果是$k\times 1$维度。
    • 在SVD中，$U{U}^T=I$，即$U$转置等于$U$的逆，$U^T=U^{-1}$.

重建的压缩表示（Reconstruction from Compressed Representation）

• 目的： 从低维表示$z$回到未压缩的近似表示$x_{approx}$.

• $x_{appox}=U_{reduce}\ast z$，$x_{appox}\approx x$，如图：

  

选择主成分数量（Choosing the Number of Principal Components）

14-5带字幕视频地址：吴恩达机器学习14-5

• 原则： 平均均方误差与训练集方差的比例尽可能小的情况下选择尽可能小的$k$值。

  • 如果这个比例小于1%，就意味着原本数据的偏差有99%都保留下来了，如果保留95%的偏差，便能非常显著地降低模型中特征的维度了。

• 步骤：

  • $k=1$，然后进行主要成分分析，获得$U_{reduce}$和$z$，计算比例是否小于1%。
  • 如果不是的话再令$k=2$，以此类推，直到找到可以使得比例小于1%的最小$k$ 值（原因是各个特征之间通常情况存在某种相关性）。

• 方法一： $\frac{\frac{1}{m}{\sum }_{i=1}^m\Vert x^{(i)}-x_{approx}^{(i)}{\Vert }^2}{\frac{1}{m}{\sum }_{i=1}^m\Vert x^{(i)}{\Vert }^2}\le 0.01$

• 方法二： $\frac{{\sum }_{i=1}^k{s}_{ii}}{{\sum }_{i=1}^n{s}_{ii}}\ge 0.99$

  • [U, S, v] = svd(sigma)中的$S$是一个$n\times n$的对角线矩阵：$\left[\begin{array}{cccc}{s}_{11}& 0& \cdots & 0\\ 0& s_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & s_{nn}\end{array}\right]$

主成分分析法的应用建议（Advice for Applying PCA）

• 应用：

  • 数据压缩（利用%选择k）
    • 减少所需存储/硬盘空间
    • 加快算法学习速度
  • 可视化（k=2或k=3）

• 错误应用：

  • 解决过拟合：

    原因：主要成分分析只是近似地丢弃掉一些特征，它并不考虑任何与结果变量有关的信息，因此可能会丢失非常重要的特征。

  • 视PCA为必要流程：

    最好从所有原始特征开始，只在有必要的时候（算法运行太慢或者占用太多内存）才考虑采用主要成分分析。