基于检测任务的小样本增量学习 Few-shot Object Detection via Feature Reweighting. ICCV 2019论文详解

新加坡国立大学发表在ICCV 2019上。解决小样本目标检测问题。目前目标检测的增量都与小样本学习相结合，可能因为小样本的目标检测虽然性能较差，但是提升较大，因此容易产生一些贡献点和达到SOTA。

解决方案也是按照类似于，分类任务的方法，先将模型分为特征提取阶段和功能阶段，然后在功能阶段进行改进，从而使得特征提取阶段可以共用或者复用。

论文地址：[1812.01866] Few-shot Object Detection via Feature Reweighting (arxiv.org)

目录

1.概览

2.模型结构及训练方式

3.实验

---

 

1.概览

增量学习时容易有一些新增类别的样本量过少，本文用了两个方面解决这个问题。一个是meta feature learner，另一个是reweighting module。

特征提取模块运用原始任务易得的数据的特征提升增量任务的性能。

reweighting module根据样本平衡不同meta feature之间的重要程度。

few-shot的增量学习问题：

小量样本是Novel classes，大量样本是Base classes，本文希望通过Few-shot Detector提升inc数据集上的性能。

 

2.模型结构及训练方式

模型包含三个模块：

• 特征提取模块feature learner: D
• reweighting module: M
• prediction layer: P

本文采用的模型框架是YOLOv2，图片I经过特征提取网络D获得特征图F=D(I)，reweighting module M运用元学习的方法，通过一张support image，Ii和该图片的边界框构成的掩码图Mask获得该类的向量（生成卷积核）wi=M(Ii,Maski)，此时该卷积核就可以与特征图F，进行1*1的卷积操作，得到加权后的特征图Fi，计算过程如下

注意，前一个手写体M是reweighting module,后面一个印刷体M表示图片的mask，也是ground truth，用于计算loss时使用的，两个不是同一个M。

prediction layer: P根据该特征图生成最终的预测：

目前为止，本篇文献采用的方法与ONCE(CVPR 2020)的方法一模一样，但是这篇文献在2019年已经出现了，先于ONCE(CVPR 2020)中的方法。ONCE中将元学习生成卷积核的网络称为class code generator，本篇中称为reweighting module。

最终的loss设计如下：

即图片经过D提取特征，与M生成的卷积核卷积，最后与真实标注Mjq的检测loss。

3.实验

本文与其他方法相比，均取得了不错的效果。

本文与直接的fine-tune对比，新增类的性能提升也非常大。