Frustratingly Simple Few-Shot Object Detection论文解读

Frustratingly Simple Few-Shot Object Detection

摘要：小样本检测还很新，作者通过预训练-微调的方法取得了比元学习好2-20个点的效果，并且作者针对高方差的小样本检测效果提出了VOC和COCO数据集的新基准。代码的github地址为：https://github.com/ucbdrive/few-shot-object-detection

介绍

• 作者首先是说了一些背景，比如人类可以迅速识别新事物等等，与小样本分类类似，然后提到了的元学习方法，我之前做过其中一篇的论文解读，详见Few-shot Object Detecion via Feature Reweighting论文解读.
• 作者指出，与图像分类不同，目标检测需要模型不仅识别出目标类别，还需要在数百万个潜在区域中定位目标。这个额外的子任务大大提高了整体的复杂性。一些方法将元学习器附加到现有的目标检测网络中，遵循元学习方法进行分类。但是，目前的评估方案存在统计上的不可靠性，并且那些论文中的基线方法，特别是简单的微调的方法，在小样本检测上的准确性与文献中并不一致。
• 作者针对微调的方法，在模型设计和基于微调的训练中，重点研究了目标检测器的训练计划和实例级特征归一化。
• 针对检测精度方差大的问题提出多组实验取平均的指标，相较于之前的工作，作者不只报告了新颖类的效果，还报告了基础类的效果。

模型框架

步骤：

• 基础类训练
• 冻结Faster RCNN参数，微调分类器和回归器
• 在微调阶段的分类器中引入实例级特征归一化（即使用余弦分类器）
  emmm好像这个方法就是一个非常简单的finetune方法，所以没什么继续讲的了

实验

实现细节

• Faster RCNN框架
• 使用带有FPN结构的ResNet-101作为骨干网络
• 优化器：SGD，batch size 16，momentum 0.9，weight decay 0.0001
• 学习率：预训练 0.02，微调 0.001

Benchmarks

• 使用和论文Few-shot Object Detecion via Feature Reweighting论文解读相同的数据划分和训练数据
• PASCAL VOC数据集采用AP50作为评估指标，COCO数据集使用新颖类的COCO-style AP

PASCAL VOC数据集结果

• 三个划分新颖类的AP50
  
• 第一种划分下，3shot和10shot的基础类和新颖类的AP50
  

COCO数据集结果

LVIS数据集

通用的小样本目标检测基准

• 问题：
  • 以前的评估协议只关注于新类的性能。这忽略了基类中潜在的性能下降，从而忽略了网络的总体性能。
  • 由于用于训练的样本较少，样本方差较大。这使得从与其他方法的比较中得出结论变得困难，因为在性能上的差异可能是微不足道的。
• 解决：
  • 使用随机样本进行多次训练，求出平均值和95%置信区间，在PASCAL VOC数据集的第一个划分中重复40次的效果如下图：
    

新基准下的结果

• PASCAL VOC
  
• COCO
  

消融实验

分类器的初始化

• 随机初始化
• 使用分类器的权重初始化并进行微调
  

余弦相似度的缩放因子

• 对比了10，20，50. 作者选择的是20