2018-12-27正则化和偏差/方差

正则化和偏差/方差

正则化线性回归

选择参数 λ

在上图中，我们看到随着λ的增加，我们的拟合变得更加平缓。 另一方面，当\λ接近0时，我们倾向于过度拟合数据。 那么我们如何选择我们的参数\lambdaλ来使它“恰到好处”？ 为了选择模型和正则化项λ，我们需要：

1.创建一个λ列表（即λ∈{0,0.01,0.02,0.04,0.08,0.16,0.32,0.64,1.28,2.56,5.12,10.24}）;

2.创建一组具有不同级数（多项式最高次数）或任何其他变量的模型。

3.迭代λ并为每个λ通过所有模型来学习一些\thetaΘ。

4.使用学到的Θ（由λ计算所得）在中计算交叉验证错误，没有正则化或λ= 0。

5.选择在交叉验证集上产生最低错误的最佳组合。

6.使用最佳组合Θ和λ，将其应用于J_ {test}看看它是否具有良好的问题概括性。

选择正则化的参数

正则化参数下的偏差/方差