Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)

    大家好,我是Mac Jiang。今天和大家分享Coursera-Stanford University-Machine Learning-Week8:Dimensionality Reduction-Quiz:Principal Component Analysis的课后习题解答。提醒:每个同学课后习题的题目参数和选项都是不同的,在参考时请看清题目,避免错误!

1.第一题
Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)_第1张图片

Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)_第2张图片
(1)题意:有个2D数据集,其可视化图如图所示。下面有四个选项的图形,哪几张图可能是PCA算法得到的向量图?
(2)分析:因为PCA得到的直线要使各样本在此直线上的投影最小,随意直线必定斜率为1左右。当然,如果用向量表示直线的方向,则有向x正方向,x反方向两种选择,故1,2都是正确的。
(3)答案:1,2

2.第二题
Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)_第3张图片
(1)题意:下列哪个方法是选择PCA下降后维度k的好方法?
1.选取k为最接近0.99*m的整数
2.选择能使保留99%差异性的最大k
3.选择能保留99%差异性的最小k
4.利用肘部法
(2)分析:1.错误,要是样本数m远远大于初始维度n,那么k就很大,反而是增加维度了
2.错误,选择的是满足99%差异性的最小k,因为降低后的维度当然是越小越好。维度越小,数据量越小,所需要的存储空间越小;维度越小,数据处理速度越快。
3.正确
4.错误,肘部法是求K均值算法的最佳分类数K的,而不是求PCA法的最小维度k的
(3)答案:3

3.第三题

(1)题意:如果有人告诉你他们的PCA算法保留了95%的差异性,他们的意思和下列哪个式子是等价的?
(2)分析:x是样本,x_approx是x的投影点。分子的意思是x与他的投影点的平均距离,分母的意思是x的总变差(样本与元原点的距离)。所以分子/分母就是投影误差与总变差的比值,越小越好。它要保留95%的差异性,即左边式子的值小于等于0.05
(3)答案:4

4.第四题
Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)_第4张图片
(1)题意:下列哪些陈述时正确的?
1.给定样本x,x是维度为n的向量,当我们运行PCA算法后得到的新的维度k必须小于等于n(特别的,当k=n是可能的,但是PCA没作用;k大于n是不可能的)
2.给定z(i)和U_reduce,不能重构出x_approx
3.即使输入特征的取值在很小的范围之内,我们在运行PCA之前也应该进行均值归一化,那样特征的平均值在0
4.PCA可能达到局部最优解,尝试不用的初始化参数可能会帮助选取全局最优解
(2)分析:1.正确,PCA的目的是降低数据维度,运行PCA后数据的维度是只降不升的,当然在k小于n是可能达不到需要的保留差异性,则k=n此时PCA是没有作用的。
2.错误,x_approx = U_reduce * z(i),可以重构
3.正确,在运行PCA之前需要对数据进行均值归一化(使中心为0左右)和特征缩放(是个特征之间数量级差不多)
4.错误,PCA不存在全局最优解问题
(3)答案:1,3

5.第五题
Week8:Dimensionality Reduction 课后习题解答(Principal Component Analysis)_第5张图片
(1)题意:下列哪些是PCA的典型应用?
1.为学习算法提供更多的特征
2.数据压缩:降低数据维度,因此消耗更少存储空间
3.防止过拟合:在有监督学习算法中减少特征数,因此学习时有更少的参数值
4.数据可视化,把数据唯独降低到2维或3维,就可以画出来了
(2)分析:1.错误,PCA是降低维度的,是减少特征,不是增加特征
2.正确,PCA降低维度,在数据个数不变的情况下,维度低了当然需要的存储空间小了
3.错误,虽然PCA可以降低维度,表面上可以减少特征数,但是一般不用PCA解决过拟合问题,应为PCA会删除一些有用信息,一般采取正则化方法解决过拟合问题
4.正确,当满足保留的差异性要求时,可以将数据降低到2D或3D,这样就可以将数据可视化
(3)答案:2,4

from:http://blog.csdn.net/a1015553840/article/details/50867898

你可能感兴趣的:(机器学习,pca,Week-8,课后作业,降低维度)