27. 减少方差的方法 翻译自 吴恩达新书-Machine Learning Yearning

吴恩达新书《机器学习年鉴》中文版单页版本

吴恩达新书《机器学习年鉴》全书目录导航

机器学习：让机器学会打游戏系列教程(含视频)

如果你的学习算法的方差很高，你可能需要尝试下⾯的方法：、

• 增加更多的训练数据：只要你可以拿到更多数据，并且有足够强计算能力，这是最简单可靠的处理方差的方法。
• 使用正则化(L2正则化，L1正则化，dropout)：这个方法可以减少方差，但是会增加偏差。
• 提早停止（基于开发集的错误率，提前停止梯度下降）：这个方法可以降低方差但是会增加偏差。提早停止的做法和正则化方法行为上有所类似，所以⼀些人也会把这种方法归入正则化方法。
• 特征选择时减少输入特征的数量/类型：这种方法可以会对方差问题有帮助，但是同时可能增加偏差。轻微的减少特征的数量（比如，从1000个减到900个）可能不会对偏差造成较大的影响。但是⼤幅度的减少特征数量（比如从1000个减到100个，10倍的缩减）很可能对偏差造成严重的影响，因为这样会导致有用的特征大大减少。在现代的深度学习中，当数据很丰富时，⼀般不会采用特征选择的方法，而是尽可能地让算法获取所有的特征，并且让算法自己选出⼀些来用。但是当你的训练样本集很小时，特征选择会非常有用。
• 减少模型规模(比如神经元/层的数量)：要小心使用这个方法。这个方法可以降低方差但是很大可能增加偏差。因此，我不推荐使用这个方法来处理方差问题。

增加正则化通常会提升分类器的性能。减少模型的规模的优点在于可以降低计算开销，进而提升训练模型的速度。如果加速模型训练很有用，那么你当然可以考虑降低模型规模。但是如果你的目标是减少方差，而不关心计算开销，那就考虑使用正则化的方法。

这里还有两个附加的策略，与25章处理偏差问题的方法相同：

• 基于误差分析修改输入特征：如果说你的误差分析告诉你要创建更多的特征来帮助算法减少某⼀特定种类的错误。这些新的特征应该在偏差和方差方面都可以帮助你。理论上来说，增加更多的特征会相应增加方差；如果你遇到这种情况，就使用正则化，来抑制方差的增⻓即可。
• 修改模型架构(比如神经网络架构)：使得你的模型更加适合于你的问题，这个方法会对偏差和方差都造成影响。

更多好玩的机器学习教程: 进入袋马学院领一份 ，全部免费.