小样本目标检测（few-shot object detection）网络结构

相关阅读：小样本学习&元学习经典论文整理||持续更新

论文一：带有注意力RPN和多关系检测器的小样本目标检测网络

参考博客：

2020最佳检测 | 带有注意力RPN和多关系检测器的小样本目标检测网络（提供源码和数据及下载）

Few-Shot Object Detection目标检测

论文：《FSOD: A Highly-Diverse Few-Shot Object Detection Dataset》

网络结构：

在RPN前加一个attention，在检测器之前加了3个attention，然后还是用到了负support训练。具体来说，构建了一个由多个分支组成的权重共享框架，其中一个分支用于查询集，另一个分支用于支持集（为简单起见，我们在图中仅显示了一个支持分支）。权重共享框架的查询分支是Faster R-CNN网络，其中包含RPN和检测器。我们利用此框架来训练支持和查询功能之间的匹配关系，使网络学习相同类别之间的常识。在该框架的基础上，我们引入了一种新颖的注意力RPN和具有多关系模块的检测器，用于在支持框和查询框之间产生准确的查询解析。

论文二：Frustratingly Simple Few-Shot Object Detection

参考博客：【小样本目标检测】Frustratingly Simple Few-Shot Object Detection

作者发现，模型最后一层的权重对检测效果的影响较大，仅对novel类检测器的最后一层（分类器和回归器）进行微调，得到的效果非常显著。在目前的基准测试中，这种简单的方法比元学习方法提高了大约2~20个点，有时甚至是以前方法的两倍精度。

在提高novel类检测精度的同时，还能保持base类的检测精度不下降。

训练过程：

阶段一： 常规的目标检测训练，主要是利用大量的base类数据样本对Faster R-CNN进行训练。网络的loss有三部分构成:RPN网络、分类分支和边框回归。RPN模块的损失取决于RPN的输出是否区分了前景和背景，分类器是交叉熵损失，回归器是平滑L1损失。

阶段二： 基于小样本的微调。在保持整个特征提取器参数不变的情况下，去除模型最后一层的参数，将novel类随机初始化的权值分配给模型最后一层（即分类器和回归器），只微调分类器和回归器。之后再在一个base类和novel平衡的数据集上进行微调。这个过程使用了和stage1相同的损失函数，并且缩小学习速率。

余弦相似性损失函数：

作者在文中提出，在分类器上使用余弦相似性计算loss，效果比交叉熵要好。与基于FC的分类器相比，基于余弦相似性的分类器中使用的实例级特征归一化有助于减少类内方差，提高novel类的检测精度，同时减少base类检测精度的降低，尤其是当训练实例数量较少时。