每天五分钟机器学习：如何调整机器学习中经常遇到的正则化参数λ

本文重点

我们上一节课学习了如何使用训练集、交叉验证集、测试集来选择最优的多项式次数d。

我们需要知道一点，d不同就表示模型不同，那么如何判断不同的模型存在的问题呢？我们上节课学习了多项式次数d和训练集和交叉验证集的代价函数误差的关系（如下图），我们以此来判定d不同时模型所存在的问题。

本节课程我们学习正则化参数λ又和高偏差和高方差什么关系呢？

 

加入正则化参数λ的代价

 

现在我们使用这样的高阶多项式来进行拟合数据，但是为了防止过拟合的现象，我们要使用一个正则化项，那么此时该模型的的代价为

 

λ取什么时候最好呢

第一种情况：正则化参数λ取一个较大地值，比如λ=10000，这种情况下所有地这些参数将被大大地惩罚，其结果是这些参数值近似等于0，θ1≈0，θ2≈0，θ3≈0，θ4≈0，所以此时我们地假设模型为hθ(x)≈0，因此我们的假设将会是一条平滑地直线，这