可变形卷积 Deformable Convolution

概念

DCNv1

DCNv2

• 由输入特征学习得到的偏移量来改变标准卷积的采样位置，类似于attention机制，特征本身包含了需要关注的位置的信息，通过卷积将其提取出来，然后反向作用于特征本身。SE通过通道均值和线性层提取需要关注的层的信息，然后反向作用于层。
• V1使用卷积给出x，y偏移位置，然后插值提取特征
• V2除了给出x，y以外还给出额外的权重控制系数w，决定卷积核中某个系数的重要性，取值0~1. 另外还给出了新的Deformable Position-Sensitive (PS) RoI Pooling方法，原理和V2类似。

实现

• 通过卷积计算出的x,y offset是浮点数，而位置是整数，如何处理？类似于RoiAlign，对特征进行插值。