【InternImage】Exploring Large-Scale Vision Foundation Models with Deformable Convolutions

基于Deformable Conv的大规模基础模型

特点：

• 采用Deformable Conv V3 【v2 19论文】
• CNN模型

背景

大规模的ViT模型借助模型能力在超大规模数据集上取得了非常高的性能，然而大规模CNN模型研究才刚刚开始。
近期CNN研究倾向于使用大的卷积kernel，以获得更大的感受野和大范围依赖。该文提出了基于Deformable Conv的大规模CNN模型，不仅有大的感受野适应下游密集识别任务，而且可以自适应Spatial维度特征聚集，计算高效，取得了ViT相当的性能。适用于分类、分割和检测任务，并在COCO上取得了SOTA的结果。

动机

算子特性对比，灰色表示固定权重的kernel，绿色表示自适应权重的kernel。

算子	长距离依赖	自适应Spatial特征聚集	计算/内存高效
global aggregation of multi-head self-attention (MHSA)	$✓$	$✓$
Swin transformer -Local Window MHSA		$✓$	$✓$
大Kernel卷积	$✓$		$✓$
动态稀疏kernel-Deformable Conv V2	$✓$	$✓$	$✓$

结果

细节

Deformable-Conv V2
$$y(p_0)=\sum _{k=1}^K{w}_k{m}_{k}X(p_0+p_k+\Delta p_k)$$

$K$为采样点数量，$p_0$为当前像素，$m_k$为尺度放缩参数，$\Delta p_k$为第k个格点的偏移量。

Deformable Conv V3

• 引入Depth-wise 和Point-wise Conv 提高权重共享效率
• 将spatial aggregation 操作分组
• 将Element-wise Sigmoid 换成softmax ，提高训练稳定性
• 稀疏kernel 更高效

$$y(p_0)=\sum _{g=1}^G\sum _{k=1}^K{w}_g{m}_{g}k{X}_g(p_0+p_k+\Delta p_{gk})$$

G表示aggregation分组数

代码

未开源