论文笔记1（CVPR2019）Region Proposal by Guided Anchoring

论文链接: Region Proposal by Guided Anchoring.
论文来自香港中文大学。

Abstract

Anchor大多数都是密集的、预先定义好尺寸和比例的。在这篇文章中，作者提出了一种更加快速有效的方法Guided Anchoring。该方法不仅可以预测目标的中心位置并且可以得到目标物在不同位置尺寸和比例。为了连续性的设计原则，提出了feature adaption module。

1 Introduction

目前大多数Anchor的分布都非常密集，以Faster-RCNN为例，先是通过大量的密集的anchor产生候选区域，然后进行分类，并且通过bounding box进行回归。Anchor的设计原则alignment和consistency，alignmen是指anchor的中心必须与特征图的中心相齐；consistency则指在特征图的不同位置上，感受野必须与不同位置的anchor相一致。整齐的anchor也会存在很多问题：首先，预先设计好的anchor可能会降低检测的速度和准确率。其次，需要大量的anchor，尽管可能会导致负样本数量过多。
在本文中，作者发现目标的尺寸与图像的内容有关，提出生成稀疏的anchor主要通过以下两个步骤，识别目标可能存在的子区域并决定不同位置的形状。但是这样的设计不符合consistency，anchor的尺寸和比例不再是固定的，因此设计了feature adaption module。

1. 提出了一种新的anchor的方法，让anchor不再是密集的预先定义好的。
2. 将anchor的分布转换为两种分布，并且分别设计了两种模型。
3. 设计了feature adaption module。
4. anchor的数量不是越多越好，高质量的更适合训练模型。

2 Related Work

总结了提出的方法和传统方法的差异：

1. 过去统一并且密集的anchor都是依赖于滑窗，作者丢弃了滑窗并且提出了Guided Anchoring。
2. Cascade采用了多个阶段，需要更多的参数，ROI Pooling和ROI Align去得到对齐特征代价较大。
3. Anchor free不擅于处理更复杂的场景。
4. anchor的数量不是越多越好，可能高质量的更适合训练模型。

传统的方法没有考虑anchor和特征之间的对齐，所以需要多次进行回归从而打破了一致性。相反，作者考虑了这一因素，并且固定anchor的中心去预测形状，根据预测的形状去调整特征。

3 Guided Anchoring

位置和形状可以用一个四元组来进行表示（x,y,w,h），假设从图像I获得目标，它的位置和中心点符合以下分布：

获得一张图像后，目标则会存在于一个确定的区域，而形状和比例与会和位置有关系。

Anchor generation模块如红色框所示，模块主要由分为两个分支，分别预测位置和形状。首先得到特征图F_I， 位置分支产生一个目标可能存在的位置的概率图，然后形状分支根据位置去预测，通过选择预测的可能性在一定阈值之上的位置生成大量的anchor。因为anchor的形状各不相同，不同位置的特征需要在一定范围内捕捉内容。考虑到这些，增加了feature adaption module。

3.1 Anchor Location Predition

Anchor位置预测分支会产生与特征图相同大小的probability map p(.|F_I)，每个p(i,j|F_I)都会与((i+1/2)s,((j+1/2)s)相对应，其中s是步长，即为相邻anchor之间的距离，表示为目标在这个位置存在的可能性。

3.2 Anchor Shape Prediction

在识别完物体可能存在的位置后，下一步是决定目标可能的形状。直接预测width和height范围较大，因此做了如下的转换：

N_S分支是由1*1的卷积层组成的并且会产生包含dw和dh两通道图。

3.3 Anchor-Guided Feature Adaptation

在传统的RPN中，anchor在整个特征图上是整齐划一的，在不同位置上尺寸和形状是一样的，因此特征图会具有一致性，然而文中的方法anchor在不同的位置却不相同，将全卷积应用于整个特征图中，大的anchor需要包含大的区域，小的anchor需要包含小的区域，feature adaption模块可以根据anchor的形状转换为每个位置的特征。
f_i是第i层的位置，(w_i,h_i)是相关的anchor的形状，采用一个3*3的可变形卷积层，首先根据N_s分支输出预测offset，然后将可变形卷积应用于具有偏移的原始的特征图中。

3.4 Training

为了训练anchor的位置预测分支，需要一个binary label map，1表示这个位置存在anchor，0表示其他。希望会有更多的anchor位于目标物的中心附近，距离中心远的anchor比较少。

红色的区域为ground truth，绿色的的区域代表目标物的中心，为正样本。图中黄色区域称为IR，虽然位于中心区域，但是距离目标的中心较远。灰色的部分是外部区域，是负样本。
Anchor shape targets.
文中的anchor的形状是变化的，计算IoU比较困难，因此重新定义了IoU。

文中的w，h是变量，作者采样了一些不同尺寸和比例的w和h，计算anchor和ground truth的IoU，并选取最大的IoU作为vIoU。

3.5 The use of High-quality Proposals

GA-RPN可以产生质量更高的proposals，相比RPN，GA-RPN有两个优点：正样本的数量较大并且IoU比例较高的proposals较为有意义。因此，可以设置一个更大的阈值使用更少的样本进行训练。