论文笔记Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution

1. 论文标题及来源

Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution, NIPS, 2019
下载地址：https://arxiv.org/abs/1909.06720

2. 拟解决问题

a. 传统RPN启发式定义anchor(在特征图每个像素生成anchor，通过乘步长映射到原图)
b. 传统RPN未将anchor的特征对齐(类似于ROI Align解决的问题，池化或者卷积的时候不能整除，会有小数)

3. 解决方法

3.1 算法流程

a. 使用骨干网络提取输入图片的特征
b. 在输入图片中随机产生anchors
c. 计算每层级联中anchor的偏移量
d. 将当前层级联输出的预测结果作为下一层的输入
e. 重复c和d直到完成级联
f. 计算目标的得分，使用NMS筛选得到最终的定位框，如下所示

3.2 自适应卷积

提出目的：anchor-free metric(根据距离判断正负样本)在第二阶段中对正样本的要求过低，会导致误判；anchor-based metric(根据IOU判断正负样本)在第一阶段中无法产生足够的正样本，因为要求过于苛刻

$$y[p]=\sum _{o\in O}w[o]\ast x[p+o]$$

该过程类似卷积过程，y表示输出的特征图，p表示输出特征图中每个像素的位置(x, y)，w表示权重，x表示输入特征图，O表示偏移域，计算方式如下
$$O=O_{ctr}+O_{shp}$$

$$O_{ctr}=({\overline{a}}_x-p_x,{\overline{a}}_y-p_y)$$

$$O_{shp}\in \{(-\frac{{\overline{a}}_w}{2},-\frac{{\overline{a}}_h}{2}),(-\frac{{\overline{a}}_w}{2},0),\dots ,(0,\frac{{\overline{a}}_h}{2}),(\frac{{\overline{a}}_w}{2},\frac{{\overline{a}}_h}{2})\}$$

$\overline{a}$表示anchor a在特征图上的映射向量，当出现小数时，使用线性插值补齐

具体过程见下图，蓝点表示卷积时对应的位置，浅色(不知道叫啥颜色好)表示原始位置

3.3 RPN回归公式

4. 实验结果

4.1 COCO 2017

4.2 消融实验

4.3 其它

5. 总结

该算法分析了RPN中存在的问题，然后在级联RPN使用自适应卷积解决这些问题。不过我感觉他这里的级联和迭代RPN看起来区别不大，只是换了些里面的构件。