每天五分钟机器学习：解决神经网络过拟合问题的神器Dropout技术

本文重点

在前面的课程中，我们学习了很多关于机器学习中解决过拟合问题的技巧，本文我们将分享一个在深度学习领域中常常使用解决过拟合问题的技巧。

Dropout

之前的L1正则化和L2正则化相当于在极大似然估计基础上加上了先验概率，那么这个相当于修改了损失函数。而Dropout技术并没有修改损失函数，而是修改了网络结构。

它通过对神经网络中的神经元做随机性的修改操作，从而降低了网络的复杂度。我们知道，当模型越复杂，那么模型的拟合能力越强，那么越有可能出现过拟合。当模型的复杂度降低的时候，那么模型的拟合能力就会变弱，那么就会解决过拟合的问题了。

集成学习？

每次epoch迭代的时候，都是随机的删除一部分的隐藏层的神经元，假如训练模型100次，那么每次删除神经元的情况是不同的。

这就相当于每次训练不同的神经网络模型，训练100次，那么相当于训练100个模型，那么将100个模型结合起来，就起到了100个模型的效果，此时就相当于集成学习，效果就非常好了。