Towards Open World Object Detection - CVPR 2021 Oral（面向开放世界的目标检测）

Towards Open World Object Detection
代码

什么是开放世界中的目标检测呢？
1.在没有明确监督的情况下，将未被引入的对象识别为“未知”。

2.当逐步接收到相应的标签时，在不忘记之前学习过的类的情况下，逐步学习这些已识别的未知类别。
图中展示了每一个增量学习的步骤，模型识别出那些未知的目标（“?”）。这些未知目标被逐渐标注（蓝色圆圈），并加入到现有的知识库（绿色圆圈）中。开放世界目标检测模型通过Energy Based Unknown Identifier和Auto-labelling Unknowns with RPN来识别出那些潜在的未知目标。

文中提到的开放世界对象探测器
1.对比聚类：
一个对比的集群问题，在这类问题中，相同类的实例将被强制保持在附近，而不同类的实例将被推到很远的地方。
2.用RPN自动标记未知：
给定一个输入图像，RPN（Region Proposal Network）生成一组前景和背景实例的边框预测，以及相应的对象性分数。将那些具有较高的对象分数，但不与地面真实对象重叠的建议标记为潜在的未知对象。
3.基于能量的未知识别器：
学习一个能量函数E (F，L)。使用亥姆霍兹自由能公式，建立ξkn(f)和ξunk(f)的能量分布模型，如果ξkn(f) < ξunk(f)，所学的分布可以用来标记一个未知的预测。
4.缓解遗忘:
存储一组平衡的样本，并在每个增量步骤之后对模型进行微调来缓解ORE的遗忘

ORE创新点：
1.在目标检测器的训练过程中，将那些未知的目标当做背景。
2.ORE是一个到目前为止还没有正式定义和解决的新问题。
3.ORE是基于对比聚类、未知感知提议网络和基于能量的未知识别，
以应对开放世界探测的挑战。
5.当增量地添加n个新类时，模型会更新自身以生成一个更新的模型 ，而无需从头开始对整个数据集进行再训练。

成功的按例：


仅在任务1上训练的ORE，在子图（a）中成功地将风筝定位为未知，而在任务3中学习风筝之后，它逐渐学习在子图（b）中同时检测风筝和飞机。

时钟类最终作为任务4的一部分（在子图（b）中）学习，最初被识别为未知（在子图（a）中）。ORE显示了开放世界探测器的真实特征，在那里它能够逐渐学习已识别的未知。

失败的按例：

子图（a）是ORE学习任务2后产生的结果。由于任务3类（如apple和orange）尚未引入，ORE将其标识并正确地将其标记为未知。学习任务3后，这些实例在子图（b）中正确标记。一个未识别的类实例仍然存在，并且ORE成功地将其检测为未知。

在任务2中，行李箱被识别为未知的东西最终被学习到，同时错误地发现了椅子。

在这个高度混乱的场景中，在学习Task 2之后，未知的实例时钟被识别出来，但并没有很好地进行本地化。学习任务4后，ORE检测时钟，减少汽车和自行车的误报。学习了这两项任务后，红色的行李箱都没有贴上标签，因此是一个失败的案例。