五、dropout模块作用讲解

目录

为什么说Dropout可以抑制过拟合

网络容量

什么叫做超参数

如何提高网络的拟合能力

如何提高网络的拟合能力

参数选择的原则

原则一

原则二

原则三

原则四

原则五

---

dropout的作用：抑制过拟合

图1：dropout之前                                                                     图2：dropout之后

通俗易懂的说,dropout的作用就是随机的裁减掉一部分神经元，防止神经元之间的相互影响，造成结果的不稳定，造成模型的过拟合

为什么说Dropout可以抑制过拟合

（1）取平均的作用

（2）减少神经元之间复杂的共适应关系：因为Dropout程序两个神经元不一定每次都在一个dropout网络中（因为他的作用就是随机的丢弃了一部分神经元）。这样的权值更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其他特征下才有效果的情况。

（3）Dropout类似于性别在生物进化中的作用：我们都曾听说过物竞天择，适者生存的名言，其实这里的dropout作用就是类似的，物种为了生存往往会倾向于适应这种环境，环境突变则会导致物种难以做出及时的反应，性别的出现可以繁衍处适应新环境的变种，有效的阻止过拟合现象的发生，既避免环境改变时物种可能面临的灭绝

网络容量

网络容量可以认为与网络中的可训练参数成正比，网络中的神经单元数越多，层数越多，神经网络的拟合能力越强。

但是训练速度、难度越大，越容易产生过拟合。

什么叫做超参数

所谓超参数，也就是搭建神经网络中，需要我们自己做选择（不是通过梯度下降算法去优化的）那些参数。

比如，中间层神经元个数，学习速率

如何提高网络的拟合能力

一种显然的想法是增大网络的容量：

1、增加层

2、增加隐藏神经元个数

如何提高网络的拟合能力

上面所说的那两种方法那个更好呢？

单纯的增加神经元个数对于网络性能的提高并不明显，增加层会大大提高网络的拟合能力，这也是现在的深度学习的层越来越多的原因

注意：单层的神经元个数，不能太小，太小的话，会造成信息的瓶颈，使得模型欠拟合

参数选择的原则

原则一

理想的模型是刚好在欠拟合和过拟合的界限上，也就是正好的拟合数据

原则二

首先开发一个过拟合模型：

                                        （1）添加更多的层

                                        （2）让每一层变得更大

                                        （3）训练更多的轮次

原则三

然后，抑制过拟合：

                                        （1）dropout

                                        （2）正则化

                                        （3）图像增强

原则四

再次，调节超参数：

                                        （1）学习速率

                                        （2）隐藏层单元数

                                        （3）训练轮次

原则五

超参数的选择是一个经验雨不断测试的结果。

经典的机器学习方法，如特征工程、增加训练数据也要做交叉验证