《Revisiting knowledge transfer for training object class detectors》论文笔记

谷歌AI perception

目录

abstract

introduction

---

abstract

在弱监督训练图片中revisit knowledge transfer 来训练object detectors。由一些带有 bounding-box annotations 的 source class 提供支持。我们提出了基于训练一个multi-class object detector的神经网络 的 统一的知识转移框架，是semantic hierarchy的。

它生成了带有分数的proposals at multiple levels in the hierarchy。我们用它来探索更大范围内的知识转移，从类特定（class-specific）的(bycicle到摩托车)到类通用（class-generic）的(任何类的对象性)。

在有200个目标类别的 ILSVRC 2013 detection dataset上做的实验。

---

introduction

目标检测，之前的训练是监督的，训练集中每个图片都要画出bounding box以及给出它的类别。现在弱监督训练，使用的是image-level的标签。

---

ImageNet和COCO数据集提供了许多带有bounding-box annotations的classes，可以利用这些annotations来学习一个新的类。在本文中，在一个knowledge transfer设定下训练目标检测器：在带有 bounding-box annotation 的 source classes 的帮助下，使用 image-level 的 labels 来训练目标检测器，从而学习target classes。

本文的模型建立在多实例学习（Multiple Instance Learning，MIL）上，将它拓展结合来自source classes的信息。在标准的MIL中，图像被分解为object proposals，该过程在re-localizing objects given the current detector和在re-training the detector given the current object locations之间交替进行。在re-localizing 期间，通常包含它的每个图像中选择object class中得分最高的proposal。

---

一些弱监督目标检测技术，在re-localization阶段加入了class-generic objectness measure来引导模型脱离背景去选择objects。这些工作是手工去懂得objectness measure，并获得了5%的正确定位提高。使用objectness可以被看作knowledge transfer的一种（弱）形式，从一个generic object appearance prior 到一个手中的特定的目标类。

还有一些弱监督目标检测技术，使用了class-specific的knowledge transfer。对于每一个目标类，它们决定一些相关的source classes作为transfer的源头。  一些方法通过为 proposals 打分，使用source classes 的 appearance models 来指导目标类的位置，与上述方法相似。  还有一些不直接将神经网络上的参数传递的方法，它们首先在所有source和target类上进行whole-image分类，然后将 source classifiers 微调成 object detectors，最后传送参数，在whole-image 分类器和 object detector之间进行转换，从source classes到target class之间进行转换，将它们高效地转换为detectors。

最终，YOLOv2通过结合一个标准的监督损失和一个弱监督损失（如 得最高分的box被认为是目标类），训练了 source 和 target的 class detector。在训练期间，他们使用了hierarchical 分类，隐式地实现了knowledge transfer（in-between class-generic and class specific）。

本文，我们提出了一个弱监督目标定位的统一的知识转移网络，可以让我们去探索complete range of 语义特异性。

我们训练了一个单神经网络单multi-class 目标检测器，organized in a semantichierarchy。它自然地在多个等级上提供了在MIL中的target classes中会用到的高质量的 proposals和 proposal 打分方程。‘entity’的 top-level 打分方程在概念上与objectness measure 有关。

我们的框架是的transfer有了更广的泛化功能：from the class-generic ‘entity’ class, from intermediate-level categories such as ‘animal’ and ‘vehicle’, and from specific classes such as ‘tiger’ and ‘car’. 我们使用了一个SSD模型作为source knowledge，根据target class以及所想要的 transfer 的泛化等级，选择使用 proposal 打分方程。

实验结果：在 ILSVRC 2013 detection dataset，200个object classes上，我们发现（1）class-generic transfer working best.（2）our class-generic knowledge transfer leads to large improvements over a weakly supervised object localization baseline using manually engineered objectness    （3）our method delivers detectors for the target classes which reach 80% of the mAP of their fully supervised counterparts, trained from manually drawn bounding-boxes...