Deformable Convolution（形变卷积操作）

参考链接

形变卷积提出——Deformable Convolutional Networks

• 在标准卷积操作中，卷积核作用区域始终为中心点周围标准卷积核大小的矩形区域内（如下图a所示），
• 而形变卷积则可以改变卷积核的作用像素点（如下图b，c，d所示，其中b的偏置量随机；c，d为固定偏置量）。

形变卷积的具体计算：

1、标准卷积计算：Input feature map（batch, H, W, C）→offset field（batch, H, W, 2N）

Input feature map与标准卷积核（batch, 3, 3, C, 2N）进行标准conv卷积运算，得到offset field（batch, H, W, 2N）。offset field中的值其实表示的就是要进行卷积运算的像素点的位置偏移量，这里之所以取2N，是因为起包含x，y两个方向的偏置量。

2、修正输入特征图：Input feature map（batch, H, W, C）→modified feature map（batch, H, W, N）

将offset field（batch, H, W, 2N）拆分为x offset field（batch, H, W, N）和y offset field（batch, H, W, N）,两者上面的特征值作为像素点索引，分别对input feature map（batch, H, W, C）的各个像素点的值进行修正，生成modified feature map（batch, H, W, N）。

修正的数学表达为：
modified feature map （ x ， y ） = Input feature map （ x + △ x ， y + △ y ），其中x，y表示坐标；△ x，△ y来自于offset field。

当x + △ x ,y+△y为分数时，使用双线性插值计算索引。

3、第二个标准卷积计算：modified feature map（batch, H, W, N）→Output feature map（batch, H, W, N）

最后，使用第二个标准卷积核（batch, 3, 3, C, N）与modified feature map（batch, H, W, N）进行标准卷积运算，得到Deformable Convolution的结果Output feature map（batch, H, W, N）。

标准卷积与形变卷积的计算效果

形变卷积的作用

在图像领域，可变形卷积是处理稀疏空间位置的一种强大而有效的机制。可以改变卷积操作感受野的范围。