dropout的正则化理解

dropout是hintion最近2年提出的，源于其文章Improving neural newworks by preventing co-adaptation of feature detectors.中文的意思：通过阻止特征检测器的共同作用来提高神经网络的性能；

dropout效果同于bagging；

对于dropout的理解：输入层与输出层保持不变，隐藏层神经元按比例随机失活；

正常的流程：即dropout比例1时，保留所有的神经元；首先将x通过网络前向传播然后把误差反向传播以决定如何让更新参数让网络学习；

使用dropout的流程：假定dropout的比例为0.5，首先随机删掉网络中一半的隐藏层神经元；然后将x输入修改后的网络前向传播，然后将得到的损失结果通过修改的网络反向传播；一小批训练样本执行完这个过程后就按照随机梯度下降法更新保留的神经元对应的参数；（一个batch对应更新一次参数）

然后继续重复这这一过程：

      恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）

     从隐藏神经元中随机选择一个小半大小的子集临时删除掉（备份被删除掉神经元的参数）

     对一小批训练样本，先前向传播后反向传播损失并根据随机梯度下降法更新参数（w,b)（没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）

不断重复这一过程；

个人理解：当将一半的神经元失活，对保留的神经元进行梯度下降，这一过程就是使用保留的网络结构对数据进行学习；第二次迭代时，继续使用保留的网络结构进行学习，比如说500次，这种固定的网络结构就可以达到一定的拟合效果；500次后再将一半的神经元失活，对保留的神经元进行梯度下降（对前面保留的不一致）重复前面的过程，这第二种固定的网络结构也可以达到一定的拟合效果；以此类推，就会有多种这样的网络结构，都会有一定的拟合效果；实践过程中，虽然每次梯度下降时网络结构不会相同，但最后来看，每种网络结构都会进行一定数量迭代的学习，等同于前面的讲的效果；换句话说，使用dropout时，最终的网络结构中的局部网络结构（随机删除50%的神经元）也会有不错的效果（因为这种网络结构都进行学习过），如同bagging方法；

dropout为什么说可以解决过拟合呢?

取平均的作用：先回到正常的模型（没有dropout)，用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用“5个结果取平均值”或者“多数取胜的投票策略”去决定最终结果；（例如3个网络判断结果为数字9，那么很有可能真正的结果就数字9，其他两个网络给出了错误的结果；）这种“综合起来取平均”的策略通常可以有效防止过拟合问题；因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”的拟合互相取消，dropout掉不同的隐藏神经元就类似在训练不同的网络（随机删掉一半隐藏神经元导致网络结构已经不同）整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合，一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。

减少神经元之间的复杂的共适应关系：因为dropout程序导致两个神经元不一定每次都在一个dropou网络中出现；这种的权值更新不再依赖有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其他特定特征下才有效果的情况。迫使网络去学习更加鲁棒的特征。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其他线索中学习一些共同的模式（鲁棒性），这个角度看dropout有点像L1,L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高；