2023-一种无监督目标检测和实例分割方法【Cut and Learn for Unsupervised Object Detection and Instance Segmentation】

Cut and Learn for Unsupervised Object Detection and Instance Segmentation

无监督目标检测和实例分割的剪切与学习

Facebook
目标检测和分割依赖海量数据的标注，模型训练耗时最大的是数据采集和标注过程，无监督学习在目标检测和分割中的应用较少。
这篇文章提出提出了Cut-and-LEaRn（CutLER），一种用于训练无监督对象检测和分割模型的简单方法。利用自监督模型的特性在没有监督的情况下“发现”目标，并将其放大以训练没有任何标签的最先进的检测模型。CutLER 首先使用作者提出的 MaskCut 方法为图像中的多个对象生成粗蒙版mask，然后使用设计的鲁棒损失函数学习这些掩模上的检测器。
通过根据模型的预测进行自我训练来进一步提高性能。与之前的工作相比，CutLER更简单，兼容不同的检测架构，并检测多个对象。CutLER 也是一款零镜头无监督探测器，在视频帧、绘画、草图等领域的11个基准测试中，检测性能 AP50 提高了2.7倍以上。通过微调，CutLER 作为一个low-shot检测器，在使用 5% 标签进行训练时，在 COCO 上以 7.3% 的 APbox 和 6.6% 的 APmask 超过 MoCo-v2。

Code

文中提出的剪切和学习有两个阶段：
1）使用MaskCut生成伪掩码；
2）从未标记数据的伪掩码中学习无监督检测器。

MaskCut 可用于为每个图像的多个实例提供分割遮罩。

演示图像上给出了伪蒙版的一些可视化效果。

临时记录，后续看微调效果。