Week6:Advice for Applying Machine Learning课后习题解答

    本文将主要解释coursera网站上斯坦福大学的机器学习公开课（吴文达老师）第六周Advice for Applying Machine Learning的课后习题的讲解，与同学们共同探讨学习。
   
1.第一题

题意：你训练了算法，在用测试数据进行测试时有很大的错误，画出了如下图所示的学习曲线。请问它是高偏差，高方差还是两者都不是？
分析：吴老师在上课时候就明确说过，随着m增大，Jtest和Jtrain接近的是high bias问题，即欠拟合。若Jtest和Jtrain相差很大，为high variance，即过拟合。
答案：high bias

2.第二题

题意：假设你利用正则化后的逻辑回归来做图像识别。当你用一些新的图像测试你的假设函数，发现图像预测时出现不可接受的巨大的错误。但是你的假设模型对训练样本的效果良好。以下哪些操作可以解决？
         添加更多多项式特征，如x1x2,x1x3…
         使用更少的训练样本
         添加更多的训练样本
         使用更少的特征
分析：题目说对训练样本效果良好，但是对新样本的泛化能力不好，说明此模型过拟合。添加更多特征多项式可以解决欠拟合，不选。使用更少的训练样本无作用，不选。使用更多训练样本可以减少过拟合问题，选。使用更少的特征也可以减轻过拟合问题，选。
答案：get more training examples,Try using smaller features.

3.第三题

题意：假设你利用正则化后的逻辑回归为某网购网站做预测，看消费者会选购哪些产品。当你利用一些新的消费者信息做预测时，出现了不可接受的巨大偏差。而且，你的假设模型对训练样本的拟合程度很糟糕。下面那些操作可以解决？
          利用交叉验证样本评价假设，而不是利用测试样本
          添加更多多项式特征，如x1x2,x1x2x3等
          使用更少的训练集
          减小正则化参数lambda
分析：题目中说，假设模型对训练样本的拟合程度很糟糕，说明存在欠拟合问题。选项1显然不正确，利用验证样本并不会对模型本身有什么改进，不选。添加更多多项式特征可以帮助解决欠拟合，选。使用更少训练样本不能解决欠拟合，增加训练样本也不能解决欠拟合，不选。减小正则化参数lambda，可以增大模型参数theta的值，可以减轻欠拟合问题，选。
答案：Try adding polynominal features,Try decreasing the regularization parameter λ.

4.第四题

题意：选出下列所有正确的陈述。
          1.假设你在训练一个正则化线性回归模型，选择正则化参数lambda的标准是选择使对训练集错误最小的，即Jtraining最小。
          2.选择交叉验证误差最小的lambda,即Jcv最小。
          3.选择对测试集误差最小的lambda,即Jtest最小。
          4.学习算法对训练样本的正确率大于对测试样本的正确率。
分析：在选择lambda的时候，先用训练样本对算法进行训练，在利用交叉验证选择对新样本泛华能力好的lambda,最后利用测试集对进行测试，所以选择lambda的是交叉验证集，及Jcv最小。4应该也是正确的，因为训练的时候就是让模型对训练样本的误差J最小，当然会比对测试样本的正确率高。
答案：2，4

5.第五题

题意：选出下列所有正确的陈述。
          1.如果一个算法是高偏差的（欠拟合），单纯增加训练样本数可以显著改善测试误差。
          2.我们经常跟喜欢高方差（过拟合）模型，而不是欠拟合模型，因为过拟合模型对训练样本的拟合程度更好。
          3.如果一个算法是高方差(过拟合)，增加训练样本数将增加测试集误差。
          4.当我们在测试学习算法时，作出学习曲线图可以帮助判断是否高偏差/高方差。
分析：1.高偏差单纯增加训练样本数无效果，高方差的有效果，不选
          2.正确
          3.减小误差，不选。
          4.正确。