深度学习面试常见问题—— 过拟合

过拟合

1. Dropout 原理

训练深度神经网络的时候，总是会遇到两大缺点：
（1）容易过拟合
（2）费时
Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果。
在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。
屏蔽掉某些神经元，使其激活值为0以后，对激活值向量x1……x1000进行放大，也就是乘以1/(1-p)。

然后继续重复这一过程：

1. 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
2. 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）。
3. 对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。

注意：

• 依概率 p 屏蔽掉某些神经元，使其激活值为0以后，我们还需要对向量y1……y1000进行缩放，也就是乘以1/(1-p)。如果你在训练的时候，经过置0后，没有对y1……y1000进行缩放（rescale），那么在测试的时候，就需要对权重进行缩放。预测的时候，每一个单元的参数要预乘以p。
• 比如一个神经元的输出是x，那么在训练的时候它有p的概率参与训练，(1-p)的概率丢弃，那么它输出的期望是px+(1-p)0=px。因此测试的时候把这个神经元的权重乘以p可以得到同样的期望。

# dropout函数的实现
def dropout(x, level):
    if level < 0. or level >= 1: #level是概率值，必须在0~1之间
        raise ValueError('Dropout level must be in interval [0, 1[.')
    retain_prob = 1. - level

    # 我们通过binomial函数，生成与x一样的维数向量。binomial函数就像抛硬币一样，我们可以把每个神经元当做抛硬币一样
    # 硬币 正面的概率为p，n表示每个神经元试验的次数
    # 因为我们每个神经元只需要抛一次就可以了所以n=1，size参数是我们有多少个硬币。
    random_tensor = np.random.binomial(n=1, p=retain_prob, size=x.shape) #即将生成一个0、1分布的向量，0表示这个神经元被屏蔽，不工作了，也就是dropout了
    print(random_tensor)

    x *= random_tensor
    print(x)
    x /= retain_prob

    return x

因为我们训练的时候会随机的丢弃一些神经元，但是预测的时候就没办法随机丢弃了。如果丢弃一些神经元，这会带来结果不稳定的问题，也就是给定一个测试数据，有时候输出a有时候输出b，结果不稳定，这是实际系统不能接受的，用户可能认为模型预测不准。那么一种”补偿“的方案就是每个神经元的权重都乘以一个p，这样在“总体上”使得测试数据和训练数据是大致一样的。比如一个神经元的输出是x，那么在训练的时候它有p的概率参与训练，(1-p)的概率丢弃，那么它输出的期望是px+(1-p)0=px。因此测试的时候把这个神经元的权重乘以p可以得到同样的期望。

为什么说Dropout可以解决过拟合？

1. 取平均的效果
   如果不使用dropout，用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。
   因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。
   dropout掉不同的隐藏神经元就类似在训练不同的网络，随机删掉一半隐藏神经元导致网络结构已经不同，整个dropout过程就相当于对很多个不同的神经网络取平均。
   而不同的网络产生不同的过拟合，一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。

2. 减少神经元之间复杂的共适应关系：
   因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况 。
   迫使网络去学习更加鲁棒的特征 ，这些特征在其它的神经元的随机子集中也存在。
   从这个角度看dropout就有点像L1，L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高。

3. Dropout类似于性别在生物进化中的角色：
   物种为了生存往往会倾向于适应这种环境，环境突变则会导致物种难以做出及时反应，性别的出现可以繁衍出适应新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝。

总结：
当前Dropout被大量利用于全连接网络，而且一般认为设置为0.5或者0.3，而在卷积网络隐藏层中由于卷积自身的稀疏化以及稀疏化的ReLu函数的大量使用等原因，Dropout策略在卷积网络隐藏层中使用较少。总体而言，Dropout是一个超参，需要根据具体的网络、具体的应用领域进行尝试。

2. 数据增强

过拟合是训练样本的缺乏和训练参数的增加，一般要想获得更好的模型，需要大量的训练参数，同时导致 CNN 越来越深。

• 如果训练样本缺乏多样性，则 再多的训练参数也毫无意义，因为这造成了过拟合，训练的模型泛化能力也会很差。
• 大量的数据，会带来特征多样性，从而有助于充分利用所有的训练参数。
  具体：
• 收集更多数据
• 利用生成模型（GAN）生成一些数据
• 对已有数据进行 crop、flip、加光照等操作

3. weight decay（L1、L2正则化加权）

常用的有 L1、L2正则化，L1 比 L2 能够获得更稀疏的参数，但 L1 零点不可导。

• 在损失函数中，weight decay 是正则项系数，正则项一般指示模型的复杂度。
• 其作用是，调节模型复杂度对损失函数的影响，若 weight decay 很大，则复杂的模型损失函数的值也就大。

4. 提前终止

在依次迭代之后，计算训练集和验证集的错误率，在验证集上的错误率很小，还没开始增大之前，停止训练。

• 因为如果继续训练，则训练集上的错误率一般会继续减小，但是验证集上的错误率会上升，说明模型的泛化能力变差。

5. 参数绑定与参数共享

在卷积神经网络CNN中，卷积层就是其中权值共享的方式，一个卷积核通过在图像上滑动从而实现共享参数，大幅度减少参数的个数，用卷积的形式是合理的，因为对于一副猫的图片来说，右移一个像素同样还是猫，其具有局部的特征。这是一种很好的缓解过拟合现象的方法。

同样在RNN中用到的参数共享，在其整条时间链上可以进行参数的共享，这样才使得其能够被训练。

6. bagging 和其他集成方法

因为正则化就是要减少泛化误差，而bagging的方法可以组合多个模型起到减少泛化误差的作用。
在深度学习中同样可以使用此方法，但是其会增加计算和存储的成本。

7、辅助分类节点（auxiliary classifiers）

在google inception V1中，采用了辅助分类节点的策略，即将中间一层的输出用作分类，并按一个较小的权重加到最终的分类结果中，这样相当于做了模型的融合，同时给网络增加了反向传播的梯度信号，提供了额外的正则化的思想。

8. Batch Normalization

在训练每一层时，对每个mini-batch的数据进行标准化处理，使输出规范到 N(0,1) 的正态分布，减少了内部神经元分布的改变（internal covariate shift）；传统的DNN的训练时，每层的输入分布都在改变，因此训练困难，可能会到激活函数的饱和区，导致只能选择用一个很小的学习速率，但是每一层用了BN后，可以有效地解决这个问题，学习速率可以增大很多倍。