Oriented RepPoints for Aerial Object Detection

Oriented RepPoints for Aerial Object Detection

paper:https://arxiv.org/abs/2105.11111

摘要

航空目标通常是非轴对齐的，并且具有杂乱环境的。与主流的bbox方法回归不同，本文提出了一种有效的自适应点学习方法，利用自适应点表示，能够捕获任意方向实例的几何信息。提出了三种定向转换函数，以便于分类和定位。提出了一种有效的自适应点学习质量评估和样本分配方案，用于在训练过程中选择具有代表性的样本，能够从相邻对象或背景噪声中捕获非轴对齐的特征。在自适应点学习中引入了空间约束来乘法离群点。

介绍

航空目标检测与一般的目标检测任务不同，具有任意方向的非轴对齐目标，以及具有复杂背景的密集分布目标。
主流方法通常将航空目标视为旋转目标定位问题。这些方法都是从检测器中衍生出来的，带有额外的方向参数，尽管取得了良好的性能，但直接定向预测仍然存在问题，包括损失的不连续性和回归的不一致性。主要是由于角度方向的有界周期性和旋转边框的方向定义。

为了有效解决上述问题，重新研究了航空目标的表示方法，以避免敏感的方向估计。作为一种细粒度的对象表示，点集在传统通用检测器中捕获关键语义特征显示出巨大潜力。然而简单的转换函数只生成垂直的水平bbox，无法精确估计航空目标方向。此外RepPoints只根据语义特征对关键点进行回归，而忽略了对点质量的有效度量。这可能会导致航空图像中分布密集、场景复杂的非轴对齐对象的性能较差。
在这项工作中，提出了一种面向航空图像的目标检测方法，引入了针对不同方向、形状和姿势的自适应点表示。与传统的方向回归方法相比，我们提出的方法不仅实现了精确方向的精确航空检测，而且还捕获了任意方向航空实例的基本几何结构。具体地说，初始自适应点是从中心点生成的，并进一步细化以适应空中目标。要获得定向bbox，需要根据学习点的布局程线三个定向转换函数。针对点集学习，提出了一种有效的自适应点评估和分配(APAA)方案，该方案不仅可以从分类、定位，还可以从训练过程中的错误方向和逐点特征相关性来衡量定向代表点的质量。这种方案使得检测器能够从相邻物体或背景噪声中捕获非轴对齐的特征，以分配有代表性的Oriented RepPoints样本。还提出了一种空间约束，监督易受攻击的点。与基于方向回归的方法相比，我们的框架在准确定位的情况下获得了更精确的检测性能。
综上所述，主要贡献有：
1）提出一种有效的航空目标检测器，引入了灵活的自适应点作为表示，实现了面向目标的检测。
2）提出了一种新的自适应点学习质量评估和样本分配方案
3）在四个具有挑战的数据集中表现出不错的结果

相关工作

航空图像中的目标通常是方向任意和密集分布的

定向目标检测

本文介绍了一种更有效的自适应点表示方法

非轴对齐特征学习

本文基于点集的方法可以有效获得非轴对齐航空对象的关键特征

目标检测的样本分配

提出一个有效的质量评估和样本分配方案来选择点集正样本

Oriented RepPoints

概述

本文没有像传统方法那样直接回归方向，而是利用自适应点集作为细粒度表示，它能够捕捉复杂环境中方向变化剧烈的航空目标的集合结构。引入可微转化函数，驱动代表点在定向目标上自适应地移动到适当位置。为了在没有点到点监督的情况下学习高质量的自适应点，提出了一种在训练阶段你选择高质量自适应点的质量度量方案。利用空间约束对易受攻击的孤立点进行惩罚，从复杂的航空环境中找到实例。

带方向的自适应点学习

使用转换函数将自适应点转换为定向bbox

研究了三个定向转换函数：
1）MinAeraRect：从定向对象上的点集找到面积最小的旋转矩形
2）NearestGTCorner：对每个角点找到最近的点作为预测角点，用于构建一个四边形作为定向边界框
3）ConvexHull：由Jarvis March算法驱动的一组点的凸包

to be continued…