Anchor-free目标检测系列8:RepPoints:Point Set Representation for Object Detection(可变形卷积提取Offset关键点)

RepPointsPoint Set Representation for Object Detection

                            (2019.4.25

   论文由清北和微软联合提出,RepPoints将可变形卷积进行灵活使用,定位目标的一些值得注意的点(representative point)。通过目标的这些点进行bbox编码,得到目标预测框。RepPoints示意图如下图31所示。

                                            Anchor-free目标检测系列8:RepPoints:Point Set Representation for Object Detection(可变形卷积提取Offset关键点)_第1张图片

                                                  图31 RepPoints架构示意图

    与前面几篇基于中心点、左上右下角点等的工作不同,RepPoints取点的方式很灵活,利用DCN提取到了目标本身的多个关键点,文中选取了9个可以自适应“跳动”的采样点,最终定位一个目标。RepPoints更适合看做deformable conv的改进。 Deform conv可以理解成content和location的解耦,即经过deform conv后的特征不受底层特征的微小形变的影响。但是之前的deform conv只利用了content的信息(训练过程的监督信号也仅针对这一部分),而忽略了offset,但offset中是否也包含了部分有用的特征呢?RepPoints这篇文章就是一个对offset分支信息的成功应用(利用offset直接预测bbox,训练过程中也直接引入对offset的监督)。

提取到RepPoints后,使用以下规则将其转换为框。

                                                  Anchor-free目标检测系列8:RepPoints:Point Set Representation for Object Detection(可变形卷积提取Offset关键点)_第2张图片

                                                            图32 RepPoints转为bbox

整体的网络流程如下图所示,

Anchor-free目标检测系列8:RepPoints:Point Set Representation for Object Detection(可变形卷积提取Offset关键点)_第3张图片

                                                      图33 RepPoints网络流程

     文章的主干网络使用FPN网络,提取出的9个关键点会经过后续的一次refine,每一次refine使用的是左上角和右下角之间的L1 loss。利用这9个offset点来生成外接框使得框架本身摆脱了anchor的束缚, 且利用9个点来直接回归xy也一定程度上避免了scale difference的问题。目前这篇文章没有开源,文章有些细节描述的不是很清晰。最后给出实验结果对比图。

Anchor-free目标检测系列8:RepPoints:Point Set Representation for Object Detection(可变形卷积提取Offset关键点)_第4张图片

                                                               图34 RepPoints实验结果

你可能感兴趣的:(学习笔记,目标检测)