防止过拟合（二）：Dropout

深度学习笔记：欠拟合、过拟合
防止过拟合（一）：正则化
防止过拟合（三）：数据增强

Dropout

在 2012 年，Hinton 等人在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中使用了 Dropout 方法来提高模型性能。
Dropout通过随机断开神经网络之间的连接，减少每次训练时实际参与计算的模型的参数量，从而减少了模型的实际容量，来防止过拟合。
但是需要注意的是：在测试时，Dropout 会恢复所有的连接，保证模型测试时获得最好的性能。

示意图

图(a)是标准的全连接神经网络，当前节点与前一层的所有输入节点相连。
图(b)是添加dropout功能的网络，按照概率随机断开神经网络的连接线。图中虚线代表了采样结果为断开的连接线，实线代表了采样结果不断开的连接线。

TensorFlow2.0中实现dropout

1.可以通过 tf.nn.dropout(x, rate)函数实现某条连接的 Dropout 功能，其中rate表示断开的概率值。

# 添加dropout操作
x = tf.nn.dropout(x, rate=0.5)

2.也可以将Dropout作为一个网络层使用，在网络中间插入一个 Dropout 层

# 添加dropout层
model.add(layers.Dropout(rate=0.5))

实验效果

为了验证 Dropout 层对网络训练的影响，我们在维持网络层数等超参数不变的条件下，通过在 5 层的全连接层中间隔插入不同数量的 Dropout 层来观测 Dropout 对网络训练的影响。

实验结论：
从上图可以看到，在不添加 Dropout 层时，网络模型出现了明显的过拟合现象；随着 Dropout 层的增加，网络模型训练时的实际容量减少，泛化能力变强。