Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection

题目：Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection

作者：Chenchen Zhu

一、研究动机

真实世界的数据往往服从long-tail分布，因此在进行目标检测时，新样本数据匮乏对性能影响极大。但是，无论数据的可用性如何，新类和基类之间的语义关系都是恒定不变的。

 

二、研究目标

提出了SRR-FSD（Semantic Relation Reasoning Few-Shot Detector ），将语义关系和视觉信息结合起来使用，将显式关系推理引入到新目标检测的学习中，即：

1. 用语义嵌入表示每个类
2. 用动态关系图增强语义嵌入
3. 用分类器将图片表示映射到语义嵌入空间

 

三、技术方法（Semantic Relation Reasoning Few-Shot Detector）

1.Semantic Space Projection

（1）根据图片特征分类

p:可能性分布

（2）将图片特征映射到语义空间

We：单词嵌入

P：线性映射，将图片特征v和类别单词嵌入对齐。在训练过程中，We固定，可学习的参数为P；b用来模拟类之间的不平衡性。

2.Relation Reasoning（用知识图G模拟类之间关系）

在映射过程中，由于图片特征和语义嵌入之间存在域差异，所以利用类之间的显式关系来增强语义嵌入以减少差异。

G：数据驱动的动态关系图，用来模拟类之间的关系推理。同时，由于G是通过输入图片训练的，因此G也有助于减少域差异。

 

四、提出方法的依据

1. 对视觉信息的依赖是样本数敏感的原因
2. 当视觉信息匮乏时，显式关系推理尤为重要

 

五、实验效果