Deformable Convolutional Networks解读

论文链接：https://arxiv.org/pdf/1703.06211.pdf
源码链接：https://github.com/msracver/Deformable-ConvNets

Deformable Convolution Networks是MSRA的代季锋和一帮实习生在2017年搞出的一种全新的卷积结构。这种方法将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。新的结构在PASCAL VOC和COCO数据集上都表现出了不错的成绩。

一、Deformable Convolutional Networks要解决的问题

传统的CNN只能靠一些简单的方法(比如max pooling)来适应物体的形变，如果形变的太厉害就无能为力了。为了改变这种情况专家们想了很多方法，最常见的有两种：
1、使用大量的数据进行训练。比如用ImageNet数据集，再在其基础上做翻转等变化来扩展数据集，通俗地说就是通过穷举的方法使模型能够适应各种形状的物体，这种方法收敛较慢而且要设计复杂的网络结构才能达到理想的结果；
2、设计一些特殊的算法来适应形变。比如SIFT，目标检测时用滑动窗口法来适应目标在不同位置上的分类也属于这类；

对第一种方法，如果用训练中没有遇到过的新形状物体(但同属于一类)来做测试，由于新形状没有训练过，会造成测试不准确，而且靠数据集来适应形变的训练过程太耗时，网络结构也必须设计的很复杂；对于第二种方法，如果物体的形状极其复杂，要设计出能适应这种复杂结构的算法就更困难了。
为了解决这个问题，代季锋提出了一种可形变的卷积结构(Deformable Convolution Networks)。它对感受野上的每一个点加一个偏移量，偏移的大小是通过学习得来的，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。这么做的好处就是无论物体怎么形变，卷积的区域始终覆盖在物体形状的周围。
图1是个示意图，a中绿色的点是原始的感受野范围，b~c中的蓝色点是对感受野加上偏移量后的新的感受野位置，可以看到叠加偏移量的过程可以模拟出目标移动、尺寸缩放、旋转等各种形变。

Deformable Convolutional Networks解读_第1张图片

图1：对感受野加上偏移量

二、结构

作者把上述可变形的结构应用到了基本的卷积结构和ROI Pooling中，各自提出了两种全新的结构。

1、可变形卷积 Deformable Convolution

传统的卷积结构可以定义成公式1，其中p_n是卷积输出每一个点相对感受野上的每一个点的偏移量，取整数。

公式1

采用全新的可变形卷积后要在公式1基础上给每个点再增加一个偏移量Δp _n，这个新的偏移量是由另一个卷积得出，所以一般是小数，见公式2。

公式2

公式2中的x(p ₀+p _n+Δp _n)的取值位置非整数，并不对应feature map上实际存在的点，所以必须用插值来得到，如果采用双线性插值的方法，x(p ₀+p _n+Δp _n)可以变成公式3。其中x(q)表示feature map上所有整数位置上的点的取值，x(p)=x(p ₀+p _n+Δp _n)表示加上偏移后所有小数位置的点的取值。

Deformable Convolutional Networks解读_第2张图片

公式3

公式3是怎么推导出的呢？先拿最简单的例子来做说明，假设feature map只有4个点，如图2，则其中插入一个点 P(x,y)的值可以用公式4来得到，这就是双线形插值的标准公式，对于相邻的点来说x ₁-x ₀=1、y ₁-y ₀=1，所以可以继续简化成公式5。如果feature map上有q个点，公式5就等价于前面的公式3。

Deformable Convolutional Networks解读_第3张图片

图2：双线形插值的过程

Deformable Convolutional Networks解读_第4张图片

公式4

Deformable Convolutional Networks解读_第5张图片

公式5

完整的可变形卷积的结构可以参考图3左侧，注意上面的卷积用于输出偏移量，该输出的长宽和输入特征图的长宽一致，维度则是输入的2倍(因为同时输出了x方向和y方向的偏移量，要用2个维度分开存储)。

Deformable Convolutional Networks解读_第6张图片

图3：可变形卷积(左图)和可变形ROI Pooling(右图)的结构

2、可变形的ROI Pooling

传统的ROI Pooling可以用公式6来表示。整个ROI被分为k*k个bin，每个bin左上角的坐标是p₀，p是bin中每个点相对于p₀的坐标偏移量，n_ij是第ij个bin中的点数。

公式6

公式7

将可变形的卷积套用到传统的ROI Pooling上可以得到可变形的ROI Pooling的公式7。其中Δp _ij是每个bin的偏移量，要注意这个偏移量是针对整个bin的，也就是说一个bin中的每一个点该值都相同。
完整的结构见图3右侧，需要做ROI Pooling处理的区域首先完成没有偏移下的pooling过程，输出k*k*channel个数据，再用一个全连接层输出k*k*2*channel个点表示在x和y方向上的偏移p ^{^} _n，再对它按公式8处理得到真正的偏移量p _n。公式8中 r是个增益，作者建议取0.1，与 (w,h)进行点乘是为了让偏移量的调整幅度能适配ROI的尺寸。p _n也是个小数，需要通过双线性插值来得到真正的值，插值的方法和公式3相同，不再重复描述。

公式8

三、深入理解

图4是原论文给的一个示意图，可以看到经过两层的传统卷积和两层的Deformable卷积的对比结果。左侧的传统卷积单个目标共覆盖了5*5=25个采样点，感受野始终是固定不变的方形；右侧的可变形卷积因为感受野的每一个点都有偏移量，造成卷积核在图片上滑动时对应的感受野的点不会重复选择，这意味着会采样9*9=81个采样点，比传统卷积更多：

Deformable Convolutional Networks解读_第7张图片

图4：传统卷积和可变形卷积的对比

图5上方是连续三级可变形卷积带来的效果，每一级卷积都用3*3的卷积核做卷积，三层卷积后就能产生9 ³=729个采样点。可以看到经过训练后所有的采样点都偏移到了目标周围。
图5下方是可变形ROI Pooling训练后的效果，可以看到所有bin都偏移到了目标周围。

Deformable Convolutional Networks解读_第8张图片

图5：可变形卷积和可变形ROI Pooling的效果