SCNet论文详解：Improving Convolutional Networks with Self-calibrated Convolutions

《Improving Convolutional Networks with Self-calibrated Convolutions》是2020年CVPR的论文，作者来自于南开大学程明明团队。最近各种卷积注意力组合的模块工作层出不穷，性能涨点明显，包括之前的Res2Net、李沐团队的ResNeSt，应该是近期的热点方向。
论文地址:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf
代码地址:https://github.com/MCG-NKU/SCNet

一、前言

最近CNNs的进步，主要集中于设计更复杂的结构，从而增强它们表示学习的能力。在本篇论文，我们考虑改进CNNs的卷积特征转换过程，而不改变模型架构。为达到这个目的，我们提出了一种自校准的模块（多个卷积注意力组合的模块），替换基本的卷积结构，在不增加额外参数和计算量的情况下，该模块能够产生全局的感受野。相比于标准卷积，该模块产生的特征图更具有区分度。
作为标准卷积的一种增强版本，自校准卷积有两个优势：
1、它使得每个空间位置可以自适应的编码来自长范围区域的相关信息，而传统卷积只能对小区域进行卷积操作（例如3*3卷积）。图1是可视化不同卷积方式的resnet产生的特征激活图，可以看到，带自校准卷积的resnet可以更准确的定位目标物体；
2、论文提出的自校准卷积是普遍适用的，它能够轻易地应用到标准的卷积层中，而不需要引入任何参数和复杂的头部或改变超参数；

图1 特征激活图的可视化

二、方法

图2 整体结构

2.1 概述

2.2 自校准

自校准操作有三方面的好处：
首先，与传统的卷积相比，通过采用方程式所示的校准操作，允许每个空间位置不仅将其周围的信息环境自适应地视为来自潜在空间的embedding，以作为来自原始比例空间的响应中的标量，还可以对通道间依赖性进行建模。 因此，可以有效地扩大具有自校准的卷积层的视场。 如图3所示，具有自校准功能的卷积层编码更大但更准确的辨识性区域。

图3
其次，自校准操作不收集全局上下文，而仅考虑每个空间位置周围的上下文，从而在某种程度上避免了来自无关区域的某些污染信息。 从图4的右两栏中可以看出，在可视化最终分数层时，具有自校准功能的卷积可以准确地定位目标物体。

图4
最后，自校准操作对多尺度信息进行编码，这是与目标检测相关的任务所迫切需要的。

三、实验

表1 比较ImageNet-1k数据集上使用不同分类框架的测试结果

在ImageNet上性能提升有1个点左右，计算量和参数量都略低于ResNet。

表2 关于SCNet设计的消融实验

表3 在ImageNet上使用的基于注意力机制方法的比较

表4 在coco minival数据集上，与最优方法的比较

在检测和分割上也有明显的性能提升，在Faster-RCNN-ResNet50上有2个点的性能提升。