提高模型泛化能力的几大方法

作者：OpenMMLab
链接：https://www.zhihu.com/question/540433389/answer/2629056736
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

对于图像分类任务，让我们以 Swin-Transformer 中使用到的 trick 为例，简单梳理一下目前深度学习中常用的一些 trick：

1. Stochastic Depth

这一方法最早在 Deep Networks with Stochastic Depth 一文中被提出，原文中被称为 stochastic depth。在 EfficientNet 的实现中被 Google 称为 drop connect。因为和 DropConnect 撞名，在 timm 的实现中又被改名为 drop path（但是这个名字也和 DropPath 撞名了，尴尬）。因此大家听到这几个名词的时候最好注意区分一下到底是哪个。
stochastic depth 类似于 dropout，但又有所不同。简单来说 dropout 在训练时随机地抛弃了一部分激活值，而 stochastic depth 则直接抛弃了一部分样本，即将这些样本的值设为零。因此这一方法一般只能放在残差结构中，将网络输出中的一部分样本直接抛弃，再与 shortcut 相加，从而实现部分样本 “跳过” 这一残差结构的效果。
通过跳过部分残差结构，实际上起到了多种深度网络组合的效果，类似集成学习，从而提高网络的性能。

2. Mixup & CutMix

二者都是图像混合增强手段，即在训练时，我们将两个样本按照某种方式进行混合，并相应地混合它们的标签。其中 Mixup 和 CutMix 的区别就在于按照什么方式对图像进行混合。
这种图像混合增强的目的是使图像经过神经网络映射后嵌入的低维流形变得平滑，从而提高网络的泛化能力。关于图像混合增强手段的详细介绍参见 MMClassification 数据增强介绍（二） - 知乎

3. RandAugment

这是一种组合数据增强手段，相比传统数据增强的随机裁剪、随机翻转，这种方法设置了一个包含各种数据增强变换的集合，并对每个样本随机应用其中若干个增强，大大扩展了增强后的图像空间。
关于 RandAugment 的详细介绍参见 MMClassification 数据增强介绍（二） - 知乎

4. RandomErasing

这一方法出自 Random Erasing Data Augmentation，其核心思想十分简单，随机选择并填充图像中的一块区域。它模拟了实际任务中需要识别的目标可能被物体遮挡的情况，从而提高模型的泛化能力。

5. CosineAnnealingLR

Cosine 学习率衰减，在近期的图像分类任务中是最主流的学习率衰减方法。大家都知道衰减学习率可能让网络在前期以较高的学习率帮助网络找到最优解，在后期以较低的学习率使网络最终收敛于最优解。虽然现在的优化器，如 Adam 拥有参数自适应学习率的能力，但通过衰减学习率限制优化器的优化步幅往往仍然是必要的。
而 cosine 学习率衰减提供了一种平滑的学习率衰减曲线，其公式如下：

η=η0+12(cos⁡(TTmaxπ)+1)\eta = \eta_{0}+\frac{1}{2}(\cos(\frac{T}{T_{max}}\pi) + 1)

6. Weight decay

Weight decay 是一种正则化方法，它通过将网络参数的 L2 范数加入 loss 的一部分，限制了网络中部分参数的范围。过大的个别参数可能会导致网络仅依赖这些参数，从而使网络 “变窄”，影响其泛化能力。