神经网络防止过拟合：Droupout工作原理及SpatialDropout1D

工作流程

输入是x输出是y，正常的流程是：

我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后，过程变成如下：

（1）首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变
（2） 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。
（3）然后继续重复这一过程：
. 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
. 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）。
. 对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。
不断重复这一过程。

作用

1）取平均的作用： 先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结果就是数字9，其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络，随机删掉一半隐藏神经元导致网络结构已经不同，整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合，一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。

（2）减少神经元之间复杂的共适应关系： 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况 。迫使网络去学习更加鲁棒的特征 ，这些特征在其它的神经元的随机子集中也存在。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1，L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高。

（3）Dropout类似于性别在生物进化中的角色：物种为了生存往往会倾向于适应这种环境，环境突变则会导致物种难以做出及时反应，性别的出现可以繁衍出适应新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝。

SpatialDropout

一般，我们会将dropout理解为“一种低成本的集成策略”：
经过置零操作后，我们可以认为零的部分是被丢弃的，丢失了一部分信息。
因而，逼着模型用剩下的信息区拟合目标。然而每次dropout是随机的。我们就不能侧重于某些节点，所以总的来说就是—每次逼着模型用少量的特征学习，每次被学习的特征又不同，那么就是说，每个特征都应该对模型的预测有所贡献（而不是侧重于部分特征，导致过拟合）。

如图左边是普通的dropout，右边是SpatialDropout。
SpatialDropout1D 的输入是三维张量（samples, timesteps, channels），输出的纬度与输入的纬度相同。

我们以文本为例，一个文本的三维张量可以表示为(samples,sequence_length,embedding_dim)如下图所示：

当我们对该张量使用dropout技术时，普通的dropout会随机独立地将部分元素置零，而SpatialDropout1D会随机地对某个特定的纬度全部置零。

SpatialDropout1D

SpatialDropout1D与Dropout的作用类似，但它断开的是整个1D特征图，而不是单个神经元。如果一张特征图的相邻像素之间有很强的相关性（通常发生在低层的卷积层中），那么普通的dropout无法正则化其输出，否则就会导致明显的学习率下降。这种情况下，SpatialDropout1D能够帮助提高特征图之间的独立性，应该用其取代普通的Dropout。

参数 p：0~1的浮点数，控制需要断开的链接的比例
输入：shape形如（samples，timesteps，channels）的3D张量
输出：shape与输入相同

keras.layers.core.SpatialDropout1D(p)

SpatialDropout2D

SpatialDropout2D与Dropout的作用类似，但它断开的是整个2D特征图，而不是单个神经元。如果一张特征图的相邻像素之间有很强的相关性（通常发生在低层的卷积层中），那么普通的dropout无法正则化其输出，否则就会导致明显的学习率下降。这种情况下，SpatialDropout2D能够帮助提高特征图之间的独立性，应该用其取代普通的Dropout

参数：
p：0~1的浮点数，控制需要断开的链接的比例
dim_ordering:’th’或’tf’，默认为~/.keras/keras.json配置的image_dim_ordering值
输入shape：
‘th’模式下，输入形如（samples，channels，rows，cols）的4D张量
‘tf’模式下，输入形如（samples，rows，cols，channels）的4D张量
输出shape：与输入相同

keras.layers.core.SpatialDropout3D(p, dim_ordering='default')

参考文献：
https://www.wenjiangs.com/doc/legacy-no_use
https://blog.csdn.net/weixin_43896398/article/details/84762943