【论文阅读笔记】【CVPR2020】Improving Convolutional Networks with Self-Calibrated Convolutions

源文http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf源代码https://github.com/backseason/SCNet

Introduction

CNN的最新进展主要致力于设计更复杂的体系结构，以增强其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进CNN的基本卷积特征转换过程。为此，我们提出了一种新颖的自校准卷积，该卷积通过内部通信显着扩展了每个卷积层的视场，从而丰富了输出功能。特别是，与使用小卷积核（例如3 x 3）融合空间和通道方向信息的标准卷积不同，我们的自校准卷积通过新颖的自我自适应地围绕每个空间位置建立了长距离空间和通道间依赖性的校准操作。因此，它可以通过显式合并更丰富的信息来帮助CNN生成更多辨识性表示。我们的自校准卷积设计简单且通用，可以轻松应用于增强标准卷积层，而不会引入额外的参数和复杂性。广泛的实验表明，将我们的自校准卷积应用于不同的主干网络时，可以在各种视觉任务中显着改善基线模型，包括图像识别，目标检测，实例分割和关键点检测，而无需更改网络体系结构 。

 我们将ResNet生成的具有不同类型卷积的特征激活图可视化。 可以看出，具有自校准卷积的ResNet可以更准确和整体地定位目标对象。

Model

常规卷积

输入C X H X W ，在输出通道也为C的卷积中，卷积核K的维度为C X C X H X W

缺点：这种卷积滤波器学习模式都具有相似性。 此外，卷积特征变换中每个空间位置的视野主要由预定义的内核大小控制，由此类卷积层的堆叠组成的网络也缺少大的感受野，无法捕获足够的高级语义。 以上两个缺点都可能导致特征图的辨识度较低。 

自校准卷积

1）.输入X为C X H X W大小，拆分为两个C/2 X H X W大小的X1,X2;

2）.卷积核K的维度为C X C X H X W，将K分为4个部分，分别为K1,K2,K3,K4，其维度均为C/2 X C/2 X H X W；

为了有效地并有效地收集每个空间位置的丰富的上下文信息，论文提出在两个不同的尺度空间中进行卷积特征转换：原始尺度空间中的特征图（输入共享相同的分辨率）和下采样后的较小的潜在空间（自校准） 。 利用下采样后特征具有较大的视场，因此在较小的潜在空间中进行变换后的嵌入将用作参考，以指导原始特征空间中的特征变换过程

3）自校准尺度空间：

对特征X1采用平均池化降采样r倍（论文r=4)，K2卷积层，再进行上采样（双线性插值），经过Sigmoid激活函数对K3卷积提取后的特征进行校准得到输出特征Y1；

4）原尺度特征空间：对特征X2经过K1卷积提取得到特征Y2；

5）对两个尺度空间输出特征Y1,Y2进行拼接操作，得到最终输出特征Y。

Experiment