[论文笔记]A ConvNet for the 2020s

目录

Abstract

Modernizing a ConvNet: a Roadmap

2.1.Training Techniques

2.2. Macro Design

2.3. ResNeXt-ify

2.4. Inverted Bottleneck

2.5. Large Kernel Sizes 

2.6. Micro Design


论文:https://arxiv.org/abs/2201.03545

代码:GitHub - facebookresearch/ConvNeXt: Code release for ConvNeXt model

Abstract

视觉识别的“咆哮的20年代”始于ViT的引入,它迅速取代卷积网络(ConvNet)成为最先进的图像分类模型。另一方面,普通的ViT在应用于一般的计算机视觉任务(如物体检测和语义分割)时面临困难。正是分层Transformers(例如Swin Transformer)重新引入了几个ConvNets先验,使得Transformer作为通用视觉主干实际上可行,并在各种视觉任务中表现出出色的性能。然而,这种混合方法的有效性在很大程度上仍然归功于Transformer的内在优势,而不是卷积的固有归纳偏差。在这项工作中,作者重新检查了设计空间,并测试了纯ConvNet所能达到的极限。作者逐步将标准ResNet“modernize”,使其朝着ViT的设计方向发展,并在此过程中发现了导致性能差异的几个关键组件。这一探索的结果是一系列被称为ConvNeXt的纯ConvNet模型。ConvNeXts完全由标准ConvNet模块构建,在精度和可扩展性方面与Transformer竞争,实现了87.8%的ImageNet top-1精度,在COCO检测和ADE20K分割方面优于Swin transformer,同时保持了标准ConvNets的简单性和效率。

Modernizing a ConvNet: a Roadmap

在这项工作中,作者研究了ConvNets和Transformer之间的结构差异,并在比较网络性能时尝试识别混淆变量。作者的研究旨在减小ViT前时代和后时代的差距,以及测试纯ConvNet所能实现的极限。

在本节中,作者提供了一个从ResNet到ConvNet的路线。在较高层次上,作者的探索旨在研究和遵循来自Swin Transformer的不同层次的设计,同时保持网络作为标准ConvNet的简单性。我们的探索路线如下。起点是ResNet-50模型。首先用类似于ViT的训练技术来训练它,并获得了与原始ResNet-50相比有很大改善的结果。这是我们的基线。然后,作者研究了一系列设计决策,并将其总结为1)宏观设计,2)ResNeXt, 3)反向瓶颈,4)大内核尺寸,以及5)各种分层的微观设计。在图2中展示了“网络现代化”的每个步骤所能实现的过程和结果。由于网络复杂性与最终性能密切相关,flop在探索过程中大致受控,尽管在中间步骤,flop可能高于或低于参考模型。所有模型都在ImageNet-1K上进行训练和评估。

 [论文笔记]A ConvNet for the 2020s_第1张图片

2.1.Training Techniques

除了网络架构的设计,训练过程也会影响最终的性能。ViT不仅带来了一套新的模块和架构设计,还为视觉引入了不同的训练技术(例如AdamW优化器)。这主要涉及优化策略和相关的超参数。因此,作者探索的第一步就是使用ViT的训练方法训练基线模型ResNet50/200。最近的研究表明,一套先进的训练技术可以显著地提高ResNet-50的性能。在该研究中,作者使用了一个接近DieT和Swim Transformer的训练方法。ResNet的训练从原来的90个epoch扩展到300个epoch。作者使用AdamW优化器,数据增强技术如Mixup,Cutmix,RandAugment , Random Erasing,正则化方案包括随机深度和标签平滑。就其本身而言这种增强的训练方法将ResNet-50模型的性能从76.1%提高到78.8%(+2.7%),这意味着传统ConvNets和ViT之间的很大一部分性能差异可能是由于训练技术。作者将在整个“modernization”过程中使用这个具有相同超参数的固定训练配方。在ResNet-50系统中,每个报告的准确度都是由三种不同的随机种子训练获得的平均值。

2.2. Macro Design

本节分析Swim Transformer的宏观网络设计。Swim Tranformer遵循ConvNets使用多级设计,其中每个阶段具有不同的特征映射分辨率。有两个有趣的考虑因素:阶段计算比例和"stem cell"结构。

  • 改变阶段计算比例。ResNet中跨阶段计算分布的原始设计很大程度上是经验的。重的“res4”级是为了兼容下游任务,如目标检测,其中探测器头在14X14特征平面上。另一方面,Swim-T遵循同样的原则,但是阶段计算比例略有不同,为1:1:3:1.对于较大的Swim-Transformer比例为1:1:9:1.根据设计,作者将每个阶段的块数量从ResNet-50中的(3,4,6,3)调整为(3,3,9,3),这也使flop与Swin-T对齐。模型精度由78.8%提高到79.4%。值得注意的是,研究人员已经彻底研究了计算的分布[1,2],并且可能存在更优化的设计.
[1] Ilija Radosavovic, Justin Johnson, Saining Xie, Wan-YenLo, and Piotr Dollár. On network design spaces for visual recognition. In ICCV, 2019.
[2] Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaim-ing He, and Piotr Dollár. Designing network design spaces.In CVPR, 2020.
  • 将根部”Patchify“。一般来说,stem cell的设计主要考虑的是在网络的初始阶段如何处理输入图像。由于自然图像固有的冗余,普通stem cell结构会在标准的ConvNets和ViT中积极地将输入图像下采样到适当的特征图大小。标准ResNet中的stem cell包含一个7x7的卷积层,stride为2,然后是一个最大池化层,这产生了输入图像的4倍下采样。在ViT中,更激进的“补丁”策略被用作stem cell,这对应于一个大的内核大小(例如核大小= 14或16)和非重叠卷积。Swin Transformer使用了类似的“补丁”层,但补丁大小较小,为4,以适应架构的多级设计。作者用使用4x4,stride为4卷积层实现的修补层取代resnet风格的stem cell。准确率从79.4%提高到79.5%。这表明ResNet中的干细胞可能被更简单的“补丁”层à la ViT所取代,这将导致类似的性能。我们将在网络中使用“patchify stem”(4x4非重叠卷积)。

2.3. ResNeXt-ify

在这一部分中,作者尝试采用ResNeXt的思想,它比普通ResNet具有更好的FLOPs/准确性权衡。核心组件是分组卷积,其中卷积滤波器被分成不同的组。

在高层次上,ResNeXt的指导原则是“使用更多的组,扩大宽度”。更准确地说,ResNeXt在瓶颈3x3 conv层使用分组卷积。由于这大大降低了flop,因此可以通过扩展网络宽度来弥补容量损失。作者使用深度卷积,这是分组卷积的一种特殊情况,分组的数量等于通道的数量。深度卷积已经通过MobileNet和Xception普及。作者注意到,深度卷积类似于自注意中的加权和运算,它在每个通道的基础上运算,即只在空间维度上混合信息。深度卷积和1x1卷积的组合导致空间和通道混合的分离,这是ViT共享的属性,其中每个操作要么跨空间维度混合信息,要么跨通道维度混合信息,但不是同时混合。深度卷积的使用有效地降低了网络flop,并如预期的那样,降低了精度。

根据ResNeXt中提出的策略,作者将网络宽度增加到与Swin-T相同的通道数量(从64增加到96)。这使得网络性能达到80.5%,FLOPs增加(5.3G)。

2.4. Inverted Bottleneck

一个重要的设计在每一个Transformer块是它创建一个反向瓶颈,即,MLP块的隐藏尺寸是输入尺寸的四倍宽。(见图4)。

[论文笔记]A ConvNet for the 2020s_第2张图片

有趣的是,这种Transformer设计与ConvNets中使用的膨胀比为4的反向瓶颈设计相连接。

这里作者探讨反向瓶颈设计。图3 (a)到(b)说明了这些配置。尽管深度卷积层的FLOPs增加了,但由于降采样残差块的shortcut 1x1 conv层的FLOPs显著降低,这一变化将整个网络的FLOPs降低到4.6G。有趣的是,这导致性能略有提高(80.5%到80.6%)。在ResNet-200 / Swin-B机制中,这一步骤带来了更多的收益(81.9%至82.6%),同时降低了FLOPs。

[论文笔记]A ConvNet for the 2020s_第3张图片

2.5. Large Kernel Sizes 

在这一部分的探索中,主要关注大型卷积核。ViT最显著的特点是其非局部的自我关注,这使得每一层都有一个全局的接受域。虽然大内核的ConvNets在过去已经被使用,但黄金标准(由VGGNet推广)是堆叠小内核(3x3)的conv层,这些层在现代GPU上具有高效的硬件实现。尽管Swin transformer在self-attention块中重新引入了本地窗口,但窗口大小至少为7X7,明显大于ResNe(X)t内核大小3X3。在这里重新讨论ConvNets中大内核大小卷积的使用。

Moving up depthwise conv layer .要探索大型内核,一个先决条件是向上移动深度转换层的位置(图3 (b)到(c))。这个设计决策在transformer中也很明显:MSA块被放置在MLP层之前。由于有一个倒置的瓶颈块,这是一个自然的设计选择,复杂/低效的模块(MSA,大内核conv)将有更少的通道,而高效、密集的 1×1 层将做繁重的工作。这个中间步骤将FLOPs降低到4.1G,导致性能暂时下降到79.9%。

Increasing the kernel size.有了所有这些准备,采用更大尺寸的卷积核的好处是明显的。作者实验了几种内核尺寸包括3、5、7、9和11,网络的性能从79.9% (3×3) 提高到80.6% (7×7) ,但网络的FLOPs基本保持不变。此外,作者观察到卷积核大小在 (7×7) 时候性能达到饱和点。在大容量模型中也验证了这一行为:当作者将内核大小增加到 (7×7) 时,ResNet-200机制模型并没有显示出进一步的增益。(这里在其他经典网络模型中已经证明,前面也说了,VGG就是 (7×7) )。

2.6. Micro Design

在本节中,作者将在微观尺度上研究其他几个架构差异——这里的大多数探索都是在层级别上完成的,重点是激活函数和归一化层的特定选择。

Replacing ReLU with GELU.NLP和视觉架构之间的一个差异是使用哪些激活函数的细节。随着时间的推移,已经开发了许多激活函数,但由于其简单和高效,整流线性单元(ReLU)仍然广泛用于ConvNets。在Transformer的原始论文中,ReLU也被用作激活函数。高斯误差线性单元,或GELU,可以被认为是ReLU的更平滑的变体,被用于最先进的Transformer,包括谷歌的BERT和OpenAI的GPT-2,以及最近的ViTs。作者发现,在他们的ConvNet中,ReLU也可以被GELU取代,尽管准确度保持不变(80.6%)。

Fewer activation functions. Transformer和ResNet块之间的一个小区别是Transformer的激活函数更少。考虑一个在MLP块中具有键/查询/值线性嵌入层、投影层和两个线性层的Transformer块。在MLP块中只存在一个激活函数。相比之下,通常的做法是将激活函数附加到每个卷积层,包括1x1 convs。在这里,作者将研究当坚持相同的策略时,性能是如何变化的。如图4所示,从剩余块中消除所有GELU层,只保留两个1x1层之间的一个,复制Transformer块的样式。该过程将结果提高了0.7% ,与Swin-T的性能基本相当。

Fewer normalization layers.Transformer通常也有更少的归一化层。这里删除了两个BatchNorm (BN)层,在cox1层之前只留下一个BN层。这进一步提高了性能,达到81.4%,已经超过了Swin-T的结果。本文中每个块的归一化层甚至比Transformer更少,因为根据经验,作者发现在块的开始添加一个额外的BN层并不能提高性能。

Substituting BN with LN.BatchNorm是ConvNets中的一个重要组成部分,它提高了收敛性,减少了过拟合。然而,BN也有许多复杂性,可能会对模型的性能产生不利影响。人们曾多次尝试开发替代的归一化技术,但在大多数视觉任务中,BN仍是首选。另一方面,Transformer中使用了更简单的层归一化(LN),从而在不同的应用场景中获得了良好的性能。

在原来的ResNet中直接用LN代替BN会导致性能次优。随着网络架构和训练技术的所有修改,在这里我们重新审视使用LN取代BN的影响。作者观察到我们的模型用LN训练没有任何困难;实际上,性能略好,准确率达到81.5%。从现在开始,将在每个剩余块中使用一个LayerNorm作为规范化的选择。

Separate downsampling layers.在ResNet中,空间下采样由每阶段开始的残差块实现,使用3x3 stride为2的卷积(和1x1 stride 2的卷积在快捷连接处)。在Swin Transformer中,在级之间添加了一个单独的下采样层。作者探索了类似的策略,其中作者使用2x2 stride 2 卷积层进行空间下采样。这种修改令人惊讶地导致了训练的发散。进一步的研究表明,在空间分辨率改变的地方添加归一化层有助于稳定训练。这些包括Swin Transformer中也使用的几个LN层:一个在每个下采样层之前,一个在阀杆之后,一个在最终的全局平均池化之后。可以将准确率提高到82.0%,大大超过了Swin-T的81.3%。

你可能感兴趣的:(论文,深度学习,计算机视觉,人工智能)