使用droupout技术注意

droupout：是一种针对深度学习广泛应用的正则化技术。在每次迭代时随机关闭一些神经单元思想：每次迭代时都会训练一个只使用一部分神经元的不同模型，随着迭代的进行，由于其他神经元可能在任何时候都被关闭，因此神经元对其他特定神经元的激活变得不那么敏感。

注意：

1.只能在训练的时候使用随机清除神经元，不能在测试中或者验证中使用

2.深度学习框架：tensorflow，paddlepaddle，keras，caffe都带有一层droupout实现

3.将droupout应用在向前和向后传播上

4.在训练期间，每一个droupout层都要除以keep-prob这个概率来保持输出同样的激活值（the same expected value for the activations)

正则化有助于减少过拟合，在训练集上的性能降低了，但是提高了测试集上的性能。L2正则和droupout是两个非常有效的正则化技术