论文阅读||ORE：Towards Open World Object Detection

这是CVPR 2021Oral的一篇文章，这篇文章提出了目标检测的新方向。（Oral是CVPR中最优质的论文。CV界的会议一般分三级：oral、poster、workshop。档次是降序排列的，oral需要作者准备PPT上台进行。参考：三名狂客的文章–论文级别划分）

论文标题：Towards Open World Object Detection（简称ORE）
论文：https://arxiv.org/abs/2103.02603
代码：https://github.com/JosephKJ/OWOD
参考资料：
1）CSDN博主Amusi（CVer）的文章 。
2）CSDN博主一个菜鸟的奋斗的文章。
（https://blog.csdn.net/u013685264/article/details/114869688）
3)CSDN博主lt1103725556的文章。
（ https://blog.csdn.net/lt1103725556/article/details/114536960）
论文想要解决的问题：在目标检测领域，让网络能够识别未经训练的未知类别的目标。
研究方向方向： 让目标检测能够识别现实世界中的所有物体，并且能够逐渐学习认知新的未知物体。

一、论文背景：
深度学习加快了目标检测的研究进展，但目前现有方法都在一个强假设下进行：所有要被检测的种类都需要在训练阶段提供。那么当我们放宽这一假设时，就会出现两个具有挑战性的问题：
（1）测试图像可能包含未知类的目标，这些未知目标也需要被归类；
（2）当被识别为未知类别的标签已经可用时，模型需要进一步学习新的类别。
而与开放世界存在的无数类别相比，在Pascal VOC和MS-COCO等视觉数据集中标注的类数非常少。因此，将未知目标识别为未知类别需要强大的概括性。
从下图也可以看出，开放世界的目标检测尚未得到解决。

二、模型任务
A model is tasked to:
1）identify objects that have not been introduced to it as ‘unknown’, without explicit supervision to do so。
在没有明确的监督下，能够将没有见过的目标识别为“未知”类；
2) incrementally learn these identified unknown categories without forgetting previously learned classes, when the corresponding labels are progressively received。
对于这些认定为“未知”的类，当逐步获得对应的标签之后，能够渐进地学习它们，且不遗忘以前学过的那些类别。
这个与以前提出的Open Set和Open World image classification的最大不同在于：
The object detector is trained to detect unknown objects as background.
在目标检测器的训练过程中，将那些未知的目标当做背景。
三、ORE框架
Approach Overview:
Top row:
At each incremental learning step, the model identifies unknown objects (denoted by ‘?’), which are progressively labelled (as blue circles) and added to the existing knowledge base (green circles)。
在每一个增量学习的步骤，模型识别出那些未知的目标（“?”）。这些未知目标被逐渐标注（蓝色圆圈），并加入到现有的知识库（绿色圆圈）中。
Bottom row:
Our open world object detection model identifies potential unknown objects using an energy-based classification head and the unknown-aware RPN. Further, we perform contrastive learning in the feature space to learn discriminative clusters and can flexibly add new classes in a continual manner without forgetting the previous classes.
开放世界目标检测模型通过一个基于能量的分类头和unknown-aware RPN来识别出那些潜在的未知目标。此外，还在特征空间中应用对比学习方法来学习有判别力的聚类，且能够在不遗忘之前学习过的类别的情况下，持续地灵活添加新的类别。

四、具体细节
Open world object detection（后面简称ORE） = Open set learning + Incremental Learning（开放式学习+增量学习）
(1)Open set learning
这是ORE的核心，“confidently predict an unknown object as unknown, and known objects into the corresponding classes”
就是说，除了已知的类别，其他的所有object都要被预测为"unknown"，同时保证已之类别的object的准确性。
（这其实有点类似显著性检测，或者说全景分割，要把所有物体都检测出来，对于unknown的object多半就是显著性检测了。）
(2)Incremental Learning
就是如果unknown的label得到了，就让网络增量学习，同时不遗忘之前学过的class，也就是说能够同时识别N+1种类别(N：以前就能识别的类别，1：新增的类别)
（之前已经有人做了Open World Classification，也是这两样，不过ORE多了一个定位的过程，而且目标检测如果inference中出现从没见过的unknown，能否把它识别为object都是问题，多半会被识别为background，感觉还是比较难的）
成功的开放世界目标检测方法应能够在没有明确监督的情况下进行未知实例的识别，并能将识别出的新实例标签提供给模型进行知识升级，同时不会忘记之前的实例，且无需从头开始重新训练。本文提出的ORE便能一并应对这两个挑战。

在用上述等式计算聚类损失时，我们将输入特征向量fc与原型向量进行对比。这需要用未知的地面真实等级标记未知的对象实例，而在已标注的大规模数据集中重新标注每个图像的所有实例显然是不切实际的。作为替代，作者建议自动将图像中的一些对象标记为潜在的未知对象。为此，作者基于RPN（区域候选网络)与类无关的事实，将那些具有较高客观性评分但不与ground-truth对象重叠的propasal标记为潜在的未知对象。

五、可视化结果
论文作者提出的ORE模型在图像上运行的结果如下：

在图(a)中，还没有学习过apple、orange等类别，ORE模型能够正确地将这些目标识别为“未知”类。在图(b)中，当给定了apple、orange标签之后，ORE模型在保证之前person类别准确识别的前提下，还正确识别了新标记的类。
三、实验结果
作者提出了一项全面的评估标准来探讨开放世界的目标检测器的性能，包含对未知对象的识别，检测已知类别，以及对未知物提供以标签时逐渐学习新类别。下表显示了开放世界评估标准中的任务组成：

下表展示了ORE在开放世界目标检测中的表现。WI和A-OSE量化评估了ORE如何处理未知类（灰色背景），而mAP衡量了它如何很好地检测已知类（白色背景）。可以看到在所有指标上，ORE都始终优于基于Faster R-CNN的baseline。

同时，作者在三种不同的设置下将ORE与最新的增量式目标检测器进行了比较。如下表所示，ORE在所有设置中都表现十分出色。