改善过拟合——丢弃法【dropout】

除了权重衰减以外，深度学习模型常常使用丢弃法（dropout) 来应对过拟合问题。
丢弃法有一些不同的变体。下面介绍的丢弃法特指倒置丢弃法（inverted dropout）。

方法描述

对于隐含层的单元来说，以一定的概率被丢弃。
对于某个隐藏单元h来说，以概率p将该单元的输出值置零。丢弃概率是丢弃法的超参数。
同时为了保证本层输出的期望不变，对未被置零的单元做（1-p）的伸缩。
具体来说，设随机变量 ? 为0和1的概率分别为 ? 和 1−? 。使用丢弃法时我们计算新的隐藏单元 h’
$$h^{\prime }=\frac{\xi }{1-p}h$$
由于$E（\xi ）=1$，则
$$E（h^{\prime }）=E(h)$$
由于在训练中隐藏层神经元的丢弃是随机的，各个隐藏单元都有可能被清零，输出层的计算无法过度依赖某一个隐藏单元的输出，从而在训练模型时起到正则化的作用，并可以用来应对过拟合。

注意事项

我们可以分别设置各个层的丢弃概率。通常的建议是把靠近输入层的丢弃概率设得小一点。