Towards Open World Object Detection - CVPR2021 Oral（开放世界中的目标检测）

仔细研读了“Towards Open World Object Detection”，这是今年CVPR的一篇Oral论文，算是挖了一个比较有意思的坑，开放世界中的目标检测。总体看来，论文所提出的ORE模型能够完成这个任务，不过还有很多可以改进的点，值得进一步研究。

paper: https://arxiv.org/abs/2103.02603

code: https://github.com/JosephKJ/OWOD

---

1. 什么是开放世界中的目标检测呢？

作者定义的这个新问题，满足两个特征：

A model is tasked to:

1) identify objects that have not been introduced to it as ‘unknown’, without explicit supervision to do so;

在没有明确的监督下，能够将没有见过的目标识别为“未知”类；

2) incrementally learn these identified unknown categories without forgetting previously learned classes, when the corresponding labels are progressively received.

对于这些认定为“未知”的类，当逐步获得对应的标签之后，能够渐进地学习它们，且不遗忘以前学过的那些类别。

这个与以前提出的Open Set和Open World image classification的最大不同在于：

The object detector is trained to detect unknown objects as background.

在目标检测器的训练过程中，将那些未知的目标当做背景。

2. Open World Object Detection （ORE）

为了解决这个新的问题，作者提出了ORE框架，如下图所示。

Approach Overview: Top row: At each incremental learning step, the model identifies unknown objects (denoted by ‘?’), which are progressively labelled (as blue circles) and added to the existing knowledge base (green circles).

在每一个增量学习的步骤，模型识别出那些未知的目标（“?”）。这些未知目标被逐渐标注（蓝色圆圈），并加入到现有的知识库（绿色圆圈）中。

Bottom row: Our open world object detection model identifies potential unknown objects using an energy-based classification head and the unknown-aware RPN. Further, we perform contrastive learning in the feature space to
learn discriminative clusters and can flexibly add new classes in a continual manner without forgetting the previous classes.

开放世界目标检测模型通过一个基于能量的分类头和unknown-aware RPN来识别出那些潜在的未知目标。此外，还在特征空间中应用对比学习方法来学习有判别力的聚类，且能够在不遗忘之前学习过的类别的情况下，持续地灵活添加新的类别。

 

3. 可视化结果

论文作者提出的ORE模型在图像上运行的结果如下：

在图(a)中，还没有学习过apple、orange等类别，ORE模型能够正确地将这些目标识别为“未知”类。在图(b)中，当给定了apple、orange标签之后，ORE模型在保证之前person类别准确识别的前提下，还正确识别了新标记的类。