深度学习之心得——dropout

作用：

        防止过拟合

什么时候过拟合：

        网络参数多，训练数据少的时候，容易过拟合。

原理：

        前向传播过程中暂时屏蔽一些节点，暂时不更新它的参数，这样就可以训练多个不同的网络，降低过拟合的可能。

Dropout层的位置

Dropout一般放在全连接层防止过拟合，提高模型返回能力，由于卷积层参数较少，很少有放在卷积层后面的情况，卷积层一般使用batch norm。
全连接层中一般放在激活函数层之后。

BatchNorm

BatchNorm归一化放在激活层前后好像都有，最初LeNet有一种归一化放在了激活层池化层后面，而现在普遍放在激活层前。