Anchor-free目标检测系列8：RepPoints：Point Set Representation for Object Detection（可变形卷积提取Offset关键点）

RepPoints：Point Set Representation for Object Detection

                            （2019.4.25）

   论文由清北和微软联合提出，RepPoints将可变形卷积进行灵活使用，定位目标的一些值得注意的点（representative point）。通过目标的这些点进行bbox编码，得到目标预测框。RepPoints示意图如下图31所示。

                                            

                                                  图31 RepPoints架构示意图

    与前面几篇基于中心点、左上右下角点等的工作不同，RepPoints取点的方式很灵活，利用DCN提取到了目标本身的多个关键点，文中选取了9个可以自适应“跳动”的采样点，最终定位一个目标。RepPoints更适合看做deformable conv的改进。 Deform conv可以理解成content和location的解耦，即经过deform conv后的特征不受底层特征的微小形变的影响。但是之前的deform conv只利用了content的信息(训练过程的监督信号也仅针对这一部分)，而忽略了offset，但offset中是否也包含了部分有用的特征呢？RepPoints这篇文章就是一个对offset分支信息的成功应用(利用offset直接预测bbox，训练过程中也直接引入对offset的监督)。

提取到RepPoints后，使用以下规则将其转换为框。

                                                  

                                                            图32 RepPoints转为bbox

整体的网络流程如下图所示，

                                                      图33 RepPoints网络流程

     文章的主干网络使用FPN网络，提取出的9个关键点会经过后续的一次refine，每一次refine使用的是左上角和右下角之间的L1 loss。利用这9个offset点来生成外接框使得框架本身摆脱了anchor的束缚, 且利用9个点来直接回归xy也一定程度上避免了scale difference的问题。目前这篇文章没有开源，文章有些细节描述的不是很清晰。最后给出实验结果对比图。

                                                               图34 RepPoints实验结果