[吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区

14.降维

觉得有用的话,欢迎一起讨论相互学习~

我的微博我的github我的B站

吴恩达老师课程原地址
参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广

14.5重建压缩表示 Reconstruction from Compressed Representation

  • 使用PCA,可以把 1000 维的数据压缩到100 维特征,或将三维数据压缩到一二维表示。所以,如果如果把PCA任务是一个压缩算法,应该能回到这个压缩表示之前的形式,回到原有的高维数据的一种近似。下图是使用PCA将样本 x ( i ) 映 射 到 z ( i ) x^{(i)}映射到z^{(i)} x(i)z(i)
    [吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第1张图片
    即是否能通过某种方法将z上的点重新恢复成使用 x ( 1 ) 和 x ( 2 ) x_{(1)}和x_{(2)} x(1)x(2)二维方式表示的数据。

方法

  • 使用 X a p p o x X_{appox} Xappox表示重建样本的n维向量(n * 1),使用 U r e d u c e U_{reduce} Ureduce表示使用PCA算法时选取的K个特征向量组成的特征矩阵(n * k),使用 Z Z Z表示使用PCA降维后数据样本的新特征(k * 1).有: X a p p o x = U r e d u c e ∗ Z X_{appox}=U_{reduce} * Z Xappox=UreduceZ
    [吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第2张图片

14.6主成分数量的选取 Choosing the number of pricipal components

平均平方映射误差(Average Squared Projection Error)和总变差(Total Variation)

  • PCA的目的是减少 平均平方映射误差 ,,即是要减少 原始样本 x ( i ) x^{(i)} x(i)通过重建后的样本 x a p p o x ( i ) x_{appox}^{(i)} xappox(i)(低维映射点) 的平方差的平均值
    1 m ∑ i = 1 m ∣ ∣ x ( i ) − x a p p o x ( i ) ∣ ∣ 2 \frac{1}{m}\sum^{m}_{i=1}||x^{(i)}-x_{appox}^{(i)}||^{2} m1i=1mx(i)xappox(i)2
  • 数据的总变差(Total Variation):定义为原始数据样本的长度的均值: 1 m ∑ i = 1 m ∣ ∣ x ( i ) ∣ ∣ 2 \frac{1}{m}\sum^{m}_{i=1}||x^{(i)}||^{2} m1i=1mx(i)2 意为:平均来看原始数据距离零向量的距离。

K值选择的经验法则

  • 平均平方映射误差总变差 的比值尽可能小的情况下 (一般选择0.01) 选择尽可能小的K值, 对于此比例小于0.01,专业来说:保留了数据99%的差异性(99% of variance is retained)
    [吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第3张图片

选择了参数K,并且99%的差异性得以保留

  • 常用的其他数值也有 0.05和0.10,则95%和90%的差异性得以保留。

主成分数量选择算法

效率较低的方法

先令 K=1,然后进行主要成分分析,获得 U r e d u c e U_reduce Ureduce z ( 1 ) , z ( 2 ) , . . . z ( m ) z^{(1)},z^(2),...z^{(m)} z(1),z(2),...z(m),然后计算其低维映射点 x a p p o x ( i ) x_{appox}^{(i)} xappox(i),然后计算 平均平方映射误差总变差 的比值是否小于1%。如果不是的话再令 K=2,如此类推,直到找到可以使得比例小于 1%的 最小K值
[吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第4张图片

更好的方法

  • 还有一些更好的方式来选择 K,当计算协方差矩阵sigma,调用“svd”函数的时候,我们获得三个参数: [ U , S , V ] = s v d ( s i g m a ) [U, S, V] = svd(sigma) [U,S,V]=svd(sigma) ,其中U是特征向量,而S是一个对角矩阵,对角线的元素为 S 11 , S 22 , S 33 . . . S n n S_{11},S_{22},S_{33}...S_{nn} S11,S22,S33...Snn 而矩阵的其余元素都是0。
    [吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第5张图片
  • 可以证明的是(在此只说明公式不给出证明过程),以下两个式子相等,即:
    [吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第6张图片
    所以,原有的条件可以转化为:
    [吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区_第7张图片 根据上式找出满足条件的最小的K值即可。

14.7 主成分分析法的应用建议

测试集和验证集应使用和训练集一样的特征向量 U r e d u c e U_{reduce} Ureduce

  • 假使我们正在针对一张 100×100 像素的图片进行某个计算机视觉的机器学习,即总共有 10000 个特征。
  1. 第一步是运用主要成分分析将数据压缩至 1000 个特征
  2. 然后对训练集运行学习算法
  3. 在预测时,采用训练集上学习而来的 U r e d u c e U_{reduce} Ureduce 将输入的特征 x 转换成特征向量 z,然后再进行预测
  • Note 如果我们有交叉验证集合测试集,也采用对训练集学习而来的 U r e d u c e U_{reduce} Ureduce

PCA不是用于解决过拟合的方法

  • 一个常见错误使用主要成分分析的情况是,将PCA用于减少过拟合(通过减少特征的数量)。这样做 非常不好,应该使用正则化化处理。原因在于主要成分分析只是近似地丢弃掉一些特征,它并不考虑任何与 结果变量y(即预测的标签) 有关的信息,因此可能会丢失非常重要的特征。PCA毕竟无监督学习的方法,任何的特征,无论是输入属性还是标签属性,其都一样对待,没有考虑到输入信息的减少对标签y的影响,通过PCA舍弃掉一部分输入属性却没有对标签做任何补偿。 然而当我们进行正则化化处理时,由于逻辑回归或者神经网络或者SVM会考虑到正则化及输入属性的改变对结果变量(预测标签)的影响,并对其作出反馈,所以正则化不会丢掉重要的数据特征。

PCA不是必要的方法

  • PCA是当数据量大,所以要 压缩数据维度,减少数据占用内存,加快训练速度 时使用的,或者是需要通过 数据可视化 理解数据时使用的, 而 不是一种必需的方法。默认把PCA加入到机器学习系统中而不考虑不加入PCA时系统的表现是不对的。由于PCA会损失掉一部分数据,也许正是数据中十分关键的维度 ,所以机器学习系统应当首先 不考虑PCA的使用 ,而使用常规的训练方法, 只在有必要的时候(算法运行太慢或者占用太多内存) 才考虑采用主要成分分析。

你可能感兴趣的:(机器学习,机器学习基础,PCA,重建压缩表示,主成分数量选取,PCA应用误区)