17:Oriented R-CNN for Object Detection

1.介绍

 

不同方案生成定向proposals的比较。(a)旋转RPN密集放置不同尺度、比例和角度的旋转锚点。(b)水平RoI的RoI Transformer+学习型方案。它包括RPN、RoI对齐和回归。(c)我们建议的面向RPN以几乎零成本的方式产生高质量的建议。定向RPN的参数数约为RoI Transformer+的1/3000和旋转RPN的1/15。

目前最先进的两级detector通过耗时的方案产生定向proposals。这降低了detector的速度，成为面向先进目标检测系统的计算瓶颈。本文提出了一种有效而简单的面向对象检测框架，称为Oriented R-CNN，它是一种通用的两级面向对象检测框架，具有良好的检测精度和效率。具体来说，在第一阶段，我们提出了一个面向ROI网络(面向RPN)，它可以直接以几乎零成本的方式生成高质量的ROI。第二阶段是定向的R-CNN头，提炼定向roi并进行识别。orient R-CNN ResNet50达到最先进的detection精度。

DOTA上达到了75.87%的mAP，在HRSC2016上达到了96.50%的mAP。

Oriented R-CNN在backbone产生feature_map后主要分为两个阶段，第一个阶段是Orieated RPN该阶段的回归branch中增加了两个回归参数。并且，本文提出了midpoint offset （中心点偏移）的方法来表示proposal。第二阶段是Orieated R-CNN detection head，利用rotated RoI alignment从每个proposal中提取固定大小的特征向量来进行分类和回归。

2.方法

图片输入之后，经过backbone生成特征图，将特征图送入oriented RPN中，生成一系列的高质量的oriented proposals，再将这些proposals和特征图一块送入第二阶段的oriented R-CNN Head中，对每个proposal进行变形（固定大小的特征向量）后送入FC层，最后经过两个分支输出分类结果和位置回归结果。

 

 

 

Loss Function

每个anchor都设置一个binary label记为p，用来标记是正样本（1）还是负样本（0）。

正样本：(i) IoU>=0.3 && 对某一 GT box有最大的IOU。(ii) 与任意一个GT Box的IOU>=0.7

负样本：IOU<0.3

else 不是正样本也不是负样本。

（注：GT box是oriented bbox的外接矩形框）

Loss function 定义如下

 

其中前半部分是分类损失，p和p*分别是实际值和预测值，Fcls是交叉熵损失。后半部分是回归损失，Freg是 Smooth L1 损失。

proposals的选择
 

在oriented RPN阶段，为了减少proposal的数量，已减小计算量。本文在每个level的特征图上选择了2000个proposals，并进行NMS。

通过proposal可以计算出预测框的四个点v1-v4，然后要想办法将这个框映射到每一level的特征图上。

首先选择短对角线。然后再利用SPPnet中的思想，通过不停地池化，将映射在特征图上的红框变成固定大小m*m的特征向量。这样每个proposal就能得到一个固定大小的特征向量，便于后面送入FC中进行分类和回归。

3.实验