UP-DETR:用无监督的方式对Transformer进行预训练来做物体检测

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”

因公众号更改了推送规则,记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中


作者:Synced

编译:ronghuaiyang

导读

不仅对CNN的backbone预训练,Transformer也要预训练,而且还是无监督的。

论文地址:https://arxiv.org/pdf/2011.09094.pdf

UP-DETR:用无监督的方式对Transformer进行预训练来做物体检测_第1张图片

华南理工大学和腾讯微信人工智能研究人员的一项新研究是利用Transformer架构进行目标检测的最新成果。该团队提出了一个他们称为random query patch detection的任务,用无监督的方式预训练DETR(检测变压器)的目标检测。无监督预训练的DETR (UP-DETR)显著提高了DETR的性能,在流行的目标检测数据集PASCAL VOC和COCO上具有更快的收敛速度和更高的精度。

今年5月,Facebook AI Research推出了DETR框架,通过Transformer编码器-解码器架构,将物体检测视为直接预测问题。它已经达到了与SOTA方法(如Faster R-CNN基线)竞争的性能。

UP-DETR:用无监督的方式对Transformer进行预训练来做物体检测_第2张图片

“然而,DETR带来了训练和优化方面的挑战,这需要大规模的训练数据和超长的训练计划。”该团队指出。这样的缺点已经阻碍了DETR性能的进一步改进。研究人员深入研究了DETR结构,确定CNN骨干已被预先训练,以提取良好的视觉表征,但Transformer模块未被预训练。

这是提高性能的关键吗?无监督视觉表征学习在设计良好的代理任务方面取得了显著进展,MoCo和SwAV等模型脱颖而出。但目前的代理任务不能直接应用于训练前的DETR,主要集中在空间定位学习,而不是基于图像实例或聚类的对比学习。

一般来说,无监督学习计算机视觉pipeline包括一个代理任务和一个真正的下游任务,这可能涉及分类或检测不充分的标注数据。Pretext任务需要学习将用于下游任务的视觉表征。

团队着手设计一种新的基于目标检测的DETR架构的预训练Transformer的代理任务,开发了一种random query patch detection method来预训练一个不需要人工标注的DETR检测器。从输入图像中随机裁剪多个query patch后,对Transformer进行预训练,用于检测和预测给定图像中query patch的边界框。这一方法解决了两个关键问题:

  • 多任务学习:避免query patch检测破坏分类特征

  • 多query定位:不同的目标query关注不同的位置区域和框大小。针对多query patches ,研究人员开发了object query shuffleattention mask方法来解决query patches 和object query之间的分配问题。

UP-DETR:用无监督的方式对Transformer进行预训练来做物体检测_第3张图片

在评估中,UP-DETR以更高的精度和更快的收敛速度大大优于DETR。在具有挑战性的COCO数据集上,UP-DETR在ResNet50骨干下提供了42.8 AP(平均精度),在收敛速度和精度上都优于DETR。

UP-DETR:用无监督的方式对Transformer进行预训练来做物体检测_第4张图片

研究人员表示,他们希望未来的研究能够将CNN和Transformer的预训练整合到一个统一的端到端框架中,并将UP-DETR应用于额外的下游任务,如 few-shot目标检测和目标跟踪。

—END—

英文原文:https://medium.com/syncedreview/up-detr-unsupervised-random-query-patch-detection-pretrains-transformers-for-object-detection-6655bc1473fa

UP-DETR:用无监督的方式对Transformer进行预训练来做物体检测_第5张图片

请长按或扫描二维码关注本公众号

喜欢的话,请给我个在看吧

你可能感兴趣的:(人工智能,计算机视觉,深度学习,机器学习,神经网络)