Week6:Advice for Applying Machine Learning课后习题解答

    本文将主要解释coursera网站上斯坦福大学的机器学习公开课(吴文达老师)第六周Advice for Applying Machine Learning的课后习题的讲解,与同学们共同探讨学习。
   
1.第一题
Week6:Advice for Applying Machine Learning课后习题解答_第1张图片

题意:你训练了算法,在用测试数据进行测试时有很大的错误,画出了如下图所示的学习曲线。请问它是高偏差,高方差还是两者都不是?
分析:吴老师在上课时候就明确说过,随着m增大,Jtest和Jtrain接近的是high bias问题,即欠拟合。若Jtest和Jtrain相差很大,为high variance,即过拟合。
答案:high bias

2.第二题
Week6:Advice for Applying Machine Learning课后习题解答_第2张图片

题意:假设你利用正则化后的逻辑回归来做图像识别。当你用一些新的图像测试你的假设函数,发现图像预测时出现不可接受的巨大的错误。但是你的假设模型对训练样本的效果良好。以下哪些操作可以解决?
         添加更多多项式特征,如x1x2,x1x3…
         使用更少的训练样本
         添加更多的训练样本
         使用更少的特征
分析:题目说对训练样本效果良好,但是对新样本的泛化能力不好,说明此模型过拟合。添加更多特征多项式可以解决欠拟合,不选。使用更少的训练样本无作用,不选。使用更多训练样本可以减少过拟合问题,选。使用更少的特征也可以减轻过拟合问题,选。
答案:get more training examples,Try using smaller features.

3.第三题
Week6:Advice for Applying Machine Learning课后习题解答_第3张图片
题意:假设你利用正则化后的逻辑回归为某网购网站做预测,看消费者会选购哪些产品。当你利用一些新的消费者信息做预测时,出现了不可接受的巨大偏差。而且,你的假设模型对训练样本的拟合程度很糟糕。下面那些操作可以解决?
          利用交叉验证样本评价假设,而不是利用测试样本
          添加更多多项式特征,如x1x2,x1x2x3等
          使用更少的训练集
          减小正则化参数lambda
分析:题目中说,假设模型对训练样本的拟合程度很糟糕,说明存在欠拟合问题。选项1显然不正确,利用验证样本并不会对模型本身有什么改进,不选。添加更多多项式特征可以帮助解决欠拟合,选。使用更少训练样本不能解决欠拟合,增加训练样本也不能解决欠拟合,不选。减小正则化参数lambda,可以增大模型参数theta的值,可以减轻欠拟合问题,选。
答案:Try adding polynominal features,Try decreasing the regularization parameter λ.

4.第四题
Week6:Advice for Applying Machine Learning课后习题解答_第4张图片
题意:选出下列所有正确的陈述。
          1.假设你在训练一个正则化线性回归模型,选择正则化参数lambda的标准是选择使对训练集错误最小的,即Jtraining最小。
          2.选择交叉验证误差最小的lambda,即Jcv最小。
          3.选择对测试集误差最小的lambda,即Jtest最小。
          4.学习算法对训练样本的正确率大于对测试样本的正确率。
分析:在选择lambda的时候,先用训练样本对算法进行训练,在利用交叉验证选择对新样本泛华能力好的lambda,最后利用测试集对进行测试,所以选择lambda的是交叉验证集,及Jcv最小。4应该也是正确的,因为训练的时候就是让模型对训练样本的误差J最小,当然会比对测试样本的正确率高。
答案:2,4

5.第五题
Week6:Advice for Applying Machine Learning课后习题解答_第5张图片
题意:选出下列所有正确的陈述。
          1.如果一个算法是高偏差的(欠拟合),单纯增加训练样本数可以显著改善测试误差。
          2.我们经常跟喜欢高方差(过拟合)模型,而不是欠拟合模型,因为过拟合模型对训练样本的拟合程度更好。
          3.如果一个算法是高方差(过拟合),增加训练样本数将增加测试集误差。
          4.当我们在测试学习算法时,作出学习曲线图可以帮助判断是否高偏差/高方差。
分析:1.高偏差单纯增加训练样本数无效果,高方差的有效果,不选
          2.正确
          3.减小误差,不选。
          4.正确。

你可能感兴趣的:(机器学习,斯坦福大学,week-6,课后习题,Mac,Jiang的机器学习专栏)