神经网络dropout

对损失函数进行优化，有时会造成过拟合现象，降低模型的泛化能力。即模型在训练集上表现好，而在测试集上表现差。防止神经网络过拟合现象的方法有增加正则化项、dropout和调节学习率等方法。本节为防止过拟合，设置dropout，限制模型的复杂度。在训练时，以概率p随机去掉部分神经元，作用于小批量数据，每次的训练的神经网络是原水神经网络的子集，相当于提供了一种轻量级的bagging方法。在测试时，每个神经元的参数预先乘p。

参考链接
https://www.bilibili.com/video/av43534076?from=search&seid=3841636000455878666
https://zhuanlan.zhihu.com/p/96853263