Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)

    大家好，我是Mac Jiang。今天和大家分享Coursera-Stanford University-Machine Learning-Week8:Dimensionality Reduction-Quiz:Principal Component Analysis的课后习题解答。提醒：每个同学课后习题的题目参数和选项都是不同的，在参考时请看清题目，避免错误！

1.第一题



(1)题意：有个2D数据集，其可视化图如图所示。下面有四个选项的图形，哪几张图可能是PCA算法得到的向量图？
(2)分析：因为PCA得到的直线要使各样本在此直线上的投影最小，随意直线必定斜率为1左右。当然，如果用向量表示直线的方向，则有向x正方向，x反方向两种选择，故1，2都是正确的。
(3)答案：1，2

2.第二题

(1)题意：下列哪个方法是选择PCA下降后维度k的好方法？
1.选取k为最接近0.99*m的整数
2.选择能使保留99%差异性的最大k
3.选择能保留99%差异性的最小k
4.利用肘部法
(2)分析：1.错误，要是样本数m远远大于初始维度n，那么k就很大，反而是增加维度了
2.错误，选择的是满足99%差异性的最小k，因为降低后的维度当然是越小越好。维度越小，数据量越小，所需要的存储空间越小；维度越小，数据处理速度越快。
3.正确
4.错误，肘部法是求K均值算法的最佳分类数K的，而不是求PCA法的最小维度k的
(3)答案：3

3.第三题

(1)题意：如果有人告诉你他们的PCA算法保留了95%的差异性，他们的意思和下列哪个式子是等价的？
(2)分析：x是样本，x_approx是x的投影点。分子的意思是x与他的投影点的平均距离，分母的意思是x的总变差(样本与元原点的距离)。所以分子/分母就是投影误差与总变差的比值，越小越好。它要保留95%的差异性，即左边式子的值小于等于0.05
(3)答案：4

4.第四题

(1)题意：下列哪些陈述时正确的？
1.给定样本x，x是维度为n的向量，当我们运行PCA算法后得到的新的维度k必须小于等于n（特别的，当k=n是可能的，但是PCA没作用；k大于n是不可能的）
2.给定z(i)和U_reduce,不能重构出x_approx
3.即使输入特征的取值在很小的范围之内，我们在运行PCA之前也应该进行均值归一化，那样特征的平均值在0
4.PCA可能达到局部最优解，尝试不用的初始化参数可能会帮助选取全局最优解
(2)分析：1.正确，PCA的目的是降低数据维度，运行PCA后数据的维度是只降不升的，当然在k小于n是可能达不到需要的保留差异性，则k=n此时PCA是没有作用的。
2.错误，x_approx = U_reduce * z(i)，可以重构
3.正确，在运行PCA之前需要对数据进行均值归一化（使中心为0左右）和特征缩放（是个特征之间数量级差不多）
4.错误，PCA不存在全局最优解问题
(3)答案：1,3

5.第五题

(1)题意：下列哪些是PCA的典型应用？
1.为学习算法提供更多的特征
2.数据压缩：降低数据维度，因此消耗更少存储空间
3.防止过拟合：在有监督学习算法中减少特征数，因此学习时有更少的参数值
4.数据可视化，把数据唯独降低到2维或3维，就可以画出来了
(2)分析：1.错误，PCA是降低维度的，是减少特征，不是增加特征
2.正确，PCA降低维度，在数据个数不变的情况下，维度低了当然需要的存储空间小了
3.错误，虽然PCA可以降低维度，表面上可以减少特征数，但是一般不用PCA解决过拟合问题，应为PCA会删除一些有用信息，一般采取正则化方法解决过拟合问题
4.正确，当满足保留的差异性要求时，可以将数据降低到2D或3D，这样就可以将数据可视化
(3)答案：2,4

from：http://blog.csdn.net/a1015553840/article/details/50867898