Few-shot Object Detection via Feature Reweighting【阅读笔记】【小样本目标检测】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

论文：https://openaccess.thecvf.com/content_ICCV_2019/html/Kang_Few-Shot_Object_Detection_via_Feature_Reweighting_ICCV_2019_paper.html

代码:https://github.com/bingykang/Fewshot_Detection

目录

摘要

一、引言

三、网络结构 ​编辑

四、学习策略

五、实验

---

摘要

论文提出来一种基于元学习的小样本目标检测器，可以学习检测新的物体，仅从几个注释的样本。

一、引言

当标记数据稀缺时，cnn会严重过拟合，不能泛化的问题。相比之下，人类可以通过少量的例子快速学习新的目标。论文提出来小样本目标检测：给出一些有足够例子的基类和一些只有少数样本的新类，目标是获得一个能够在测试时同时检测基对象和新对象的模型。

1

论文主要贡献

1、论文是最早研究小样本目标检测问题的之一，具有很大的实用价值。

2、设计了一种新的小样本目标检测模型，1)学习可泛化的元特征；2)通过从少数支持样本中产生具有特定类的激活系数，自动重新加权特征，用于新的类检测。

3、通过实验表明该模型在很大程度上优于基线方法，特别是当标签的数量极低时。模型可以明显更快地适应新的类。

二、相关工作

1、目标检测（一阶和二阶）

2、小样本学习（基于元学习）

3、小样本目标检测

三、网络结构 

 该网络结构由两部分组成：元特征提取器、重新加权模块。提出的小样本目标检测模型将一个元特征学习器D和一个重加权模块M引入到一个单阶段的检测框架中YOLO-v2。

1、元特征提取器

元特征学习者D学习如何提取输入查询图像的元特征来检测其新目标。

2、重加权模块

一个轻量级的特征重加权模块。重加权模块M以支持示例为输入，学习将支持信息嵌入到重加权向量中，并相应地调整查询图像的每个元特征的贡献，输入检测预测模块P。

在形式上，一个输入的查询图像。其对应的元特征F ∈ R w×h×m,wi 表示重构特征向量。

F i = F ⊗ w i , i = 1 , . . . , N,

在获得特定类别的特征Fi后，我们将它们输入预测模块P，对每一组预定义锚点的目标得分o、边界框位置偏移量（x、y、h、w）和分类得分ci进行回归：

{ o i , x i , y i , h i , w i , c i } = P ( F i ) , i = 1 , . . . , N,

四、学习策略

为了保证模型的泛化性能，论文提出了一种新的两阶段学习方案，它不同于传统的检测模型训练方案。将数据集划分为很多任务，设定如下图所示。

整个学习过程包括两个阶段。第一阶段是基础训练阶段。在这一阶段，尽管每个基类都有丰富的标签，但仍然联合训练特征学习器、检测预测和重加权模块。这是为了使它们以一种期望的方式进行协调：模型需要学习通过引用一个好的重新加权向量来检测感兴趣的对象。第二个阶段是小样本的微调。在这个阶段，同时在基类和新类上训练模型。由于新类只有k个标记的边界框，为了平衡来自基类和新类的样本，我们还为每个基类包括k个边界框。训练过程与第一阶段相同，只是模型收敛所需的迭代次数明显减少。

五、实验

数据集：VOC  和 MS-COCO 

YOLO（YOLO-v2）;   YOLO-joint  指的是使用基类和新类一起训练，并且和FSRW(Ours)相同的迭代次数；YOLO-ft和YOLO-ft-full使用两阶段的训练方法（元训练和微调），前者迭代次数与FSRW(Ours)相同，后者完全收敛。

在VOC数据集上的实验结果：

 在COCO数据集上的实验结果：

对模型的学习速度也进行了实验：表明模型的收敛速度明显快于基线YOLO检测器（虚线）。

可视化重新加权系数。

该论文被称为小样本目标检测的开山之作,最近在看小样本目标检测方面的论文,刚刚接触小白一个，如有错误希望多多包涵。