机器学习算法笔记之9:偏差与方差、学习曲线

1. 偏差与方差的理解

在训练机器学习模型时,使用不同的训练集很可能会得到不同的估计模型,估计模型随着训练集的改变而变化的程度就叫做方差variance。我们训练得到的估计模型与实际真实模型的偏差即为bias,估计与实际差距越大,bias就越高。为了得到较低的误差,需要尽可能地降低方差和偏差,然而这两者不能同时减小,在bias与variance之间存在一个权衡trade-off。

低偏差的模型可以很好的适应训练数据,改变训练集会得到特别不同的模型,及低Bias的方法能够捕捉到训练集中的大部分差异,改变数据集时估计模型会变化很多,意味着该模型是高方差的(high variance)。模型的 bias 越低,它适应数据的能力就越强,同时 variance 也越高。所以,bias 越低,variance 越高。

反过来也说得通:bias 越高,variance 越低。一个高 variance 的模型构建的简单模型通常是不能很好适应数据集的。当我们改变数据集的时候,从高 bias 的算法得到的模型 f^ 通常不会有很大不同。如果我们改变训练集的时候 f^ 不会改变太多,那么 variance 就比较低,这恰好证明了我们的观点:bias 越高,variance 越低。

在实际中,我们需要接受一个 trade-off。我们不可能同时得到低 bias 和低 variance,所以我们期望得到某种中间结果。

 

机器学习算法笔记之9:偏差与方差、学习曲线_第1张图片

2. 学习曲线

学习曲线会展示误差随着训练集的改变而如何发生变化。

由上图左图可以得到,当训练集样本数增大到某个值以后时,验证集的误差保持大致不变,表明增加更多的训练数据点并不能带来更好的模型,与其增大训练集的规模,不如尝试构建更加复杂的模型算法。而右图则表明增加更多训练样本会降低模型误差,改善模型性能。

偏差Bias问题诊断,偏差问题的主要标志是高验证误差,如下图:

高验证集误差表明是一个偏差问题,但并不能直接指明具体的偏差问题。与此同时,高训练集误差表明是高偏差问题(欠拟合),模型不能很好地拟合训练数据;而低训练集误差表明是低偏差问题,模型可以很好地拟合训练数据。

方差variance问题诊断:首先检查验证学习曲线和训练学习曲线之间的差距,然后检查训练误差(检查误差值随训练样本数的增加的变化)。

两曲线较小的差距代表较小的variance,差距越小则variance越小,反之亦然。高方差即variance较大说明出现了过拟合问题(过度拟合训练数据)。当过拟合的模型分别在训练集和验证集上测试时,训练误差较低而验证误差较高,且随着训练样本数的增加这种模式继续存在,训练集和验证集之间的差异程度决定了这两条曲线之间的距离。

训练误差和验证误差之间的关系,以及训练学习曲线和验证学习曲线之间的差距可以总结如下:gap = validation_error − training_error。两个误差之间的差距越大,曲线之间的距离越大,variance 越大。

通常,以下两种修正方式在处理高 bias 和低 variance 的问题时会比较奏效:

  • 用更多的特征训练当前的学习算法,即通过增加模型的复杂度来降低 bias。
  • 减少对当前算法的正则化。正则化能够避免算法在训练数据上过拟合。如果我们减少了正则化,模型会更好地拟合训练数据,就会增加 variance,降低 bias。

理想化的学习曲线和不可约化的误差

理想化的学习曲线应该是两条学习曲线都收敛至误差为0的时候,而实际上这是不可能的,这是由于不可约误差(irreducible error)的存在。在实际中最好的模型会收敛于某个不可约误差而不是理想的误差值0。在更多数技术性写作中,贝叶斯误差通常指的是分类器的可能最佳错误得分。这个概念和不可约误差是类似的。

机器学习算法笔记之9:偏差与方差、学习曲线_第2张图片

3. sklearn 中的学习曲线应用

from sklearn.model_selection import learning_curve

使用 learning_curve() 函数生成需要的数据来绘制学习曲线。函数会返回一个包含三个元素的元组:训练集大小、训练集和验证集上的误差得分。在这个函数内部,我们使用了以下参数:

  •  estimator-代表我们估计实际模型时所用的学习算法;
  •  X-包含特征的数据;
  •  y-包含目标的数据;
  •  train_sizes—所用的特定的训练集大小;
  •  cv-确定交叉验证分割策略(我们马上会讨论这个内容);
  •  scoring-代表所用的误差指标;我们使用 nearest proxy 和负 MSE,我们随后必须颠倒一下符号。

你可能感兴趣的:(机器学习/深度学习)