李沐pytorch学习-DropOut

        DropOut 即丢弃法，一般用于全连接层的隐含层，卷积层一般不用。

        在训练时随机把一些神经元丢弃，不参与运算，防止过度依赖某个神经元。

        可用于防止过拟合。

        DropOut过程如图1所示，隐含层每个神经元丢弃概率为p，丢弃前隐含层的数值为：

        丢弃后 h2 和 h3 被丢弃，丢弃后隐含层的数值为：

图1. DropOut示意图

        因此梯度计算如下：

先只看 分量       

因为：

        因此：

        可见更新权重时，与被DropOut的神经元相连的梯度为零，因此被丢弃的神经元相关权重此次不参与更新。