Relation-Network——目标之间存在相对关系 (目标检测)(one/two-stage)(深度学习)(CVPR 2018)

论文名称：《 Relation Networks for Object Detection 》

论文下载：https://arxiv.org/pdf/1711.11575.pdf

论文代码：https://github.com/msracver/Relation-Networks-for-Object-Detection

---

建模物体间的关系，有利于目标识别任务。本文提出了一种目标关系模块（Object Relation Module），它同时处理一组目标，对目标之间的外观特征关系和位置关系进行建模。该模块的输入输出维度相同（in-place），不需要额外的监督，因此很容易嵌入到已有网络中。实验表明，在目标检测网络的目标识别和去重两个阶段添加目标关系模块，可以提高检测精度，并实现完全端到端的目标检测器。

本文亮点：

1. 将《Attention Is All You Need》中的 Attention 机制应用到目标检测领域，设计出的目标关系模块很容易的集成到任意网络中。
2. 用目标关系模块代替传统NMS算法进行去重，检测网络完全可以端到端训练。

作者设计的 Attention 权重由两部分组成，外观特征关系权重和空间关系权重。作者将目标关系模块应用到区域特征提取后的 FC 层，使目标特征包含物体间的关系信息，增强目标识别能力。作者还将目标关系模块应用到去重阶段，代替传统的 NMS 算法，提高网络识别精度，同时可以使网络进行端到端的训练。

1、实例检测阶段

目标检测网络分类回归阶段流程

加入目标关系 模块后的流程

 

网络的检测部分，由 2fc 变为了 2fc+RM（Relation module），网络结构如下图(a)：

  

2、去重阶段

作者将去重看作一个二分类问题，如上图(b)：在分类和边界框回归分支，网络输出了分类得分 s0 和预测的边界框 bbox。作者先将 N 个物体的得分从大到小排序，每一个物体排序的序号（rank）∈[1,N]。与 fG 的处理方式类似，作者将 rank 值嵌入到一个高维空间，维度大小为128。然后将 rank 特征，和 2fc+RM 层之后的1024维的外观特征分别通过矩阵 WfR 和 Wf 投影到128维，再按元素相加。将该特征和bbox特征输入到关系模块中，通过矩阵 Ws 对输出的关系特征线性分类，再使用 Sigmoid 函数得到二分类得分 s1（1表示是正确的bbox，0表示多余的bbox）。最后用 s0*s1 表示最终的分类得分。去重阶段正负样本选取：对于每一个 ground truth box，选取边界框回归阶段 IoU ≥η 的框中得分最高的为正样本，其他为负样本。