（二）论文阅读 | 目标检测之CenterNet-Triplets

简介

图1：论文原文

论文是发表在$\mathrm{I}\mathrm{C}\mathrm{C}\mathrm{V}2019$上的一篇基于$\mathrm{A}\mathrm{n}\mathrm{c}\mathrm{h}\mathrm{o}\mathrm{r}$-$\mathrm{F}\mathrm{r}\mathrm{e}\mathrm{e}$的目标检测论文。该论文是基于对上一篇介绍的论文$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的改进。我们知道$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$中引入嵌入向量的概念来判断两个角点是否配对，而本论文的思路是额外检测一个关键点，即使用中心点来辅助角点对的匹配。实验结果为该模型在$\mathrm{M}\mathrm{S}\mathrm{C}\mathrm{O}\mathrm{C}\mathrm{O}$数据集上的$\mathrm{A}\mathrm{P}$为$47.1\%$。论文原文 源码

---

0. Abstact

作者指出，基于关键点的目标检测算法通常会产生错误的目标边界框，这是由于在生成边界框时没有充分利用域内的信息。基于$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$，作者提出了$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$。$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$通过检测框的左上角和右下角角点来寻找合适的边界框，而$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$通过额外引入一个中心点的检测来提高生成边界框的质量。同时，论文提出了$\mathrm{C}\mathrm{a}\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{d}\mathrm{e}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{g}$（级联角点池化）和$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{g}$（中心池化），它们用于丰富两个检测角点的信息，以及增强获取来自域内的信息。$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的相关介绍可参考这里。

论文贡献：（一）提出一种新的基于关键点的$\mathrm{A}\mathrm{n}\mathrm{c}\mathrm{h}\mathrm{o}\mathrm{r}$-$\mathrm{F}\mathrm{r}\mathrm{e}\mathrm{e}$目标检测方法，论文的提出主要是对$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的改进；（二）指出在基于关键点的检测算法应充分利用生成域内的信息，可以看到后面的诸多论文都使用了这一思想；（三）提出级联角点池化和中心池化来丰富两个检测角点和生成域内的信息。

---

1. Introduction

作者首先指出$\mathrm{A}\mathrm{n}\mathrm{c}\mathrm{h}\mathrm{o}\mathrm{r}$-$\mathrm{B}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{d}$目标检测方法的局限性，主要是$\mathrm{A}\mathrm{n}\mathrm{c}\mathrm{h}\mathrm{o}\mathrm{r}$的超参数设置以及正负样本不均衡的问题。然后指出$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$提出一种全新的思路，用于解决有关$\mathrm{A}\mathrm{n}\mathrm{c}\mathrm{h}\mathrm{o}\mathrm{r}$的问题。但同时也指出，$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$在生成边界框的时候受限于检测的角点对，即如果生成角点对的质量够高，则对应的边界框的质量也高；反之，则会产生错误的边界框。下图是$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$中的一些错误检测结果：

图2：CornerNet的检测结果

观察上述结果图，作者得出结论：在生成边界框是不能仅依靠角点对的信息，还要充分利用由角点生成的区域内的信息。因此，论文提出的$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$是对$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的改进，使模型能够自行判断生成边界框的正确性。$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的关注点在于由角点生成的框的中心区域。作者指出，如果预测的边界框同标注框有很大的交并比，即该预测框的质量较高，那么该预测框的中心区域应该包含中心关键点。根据图$2$中的第二行我们可以观察到，第一列的图产生三个可能的检测结果，但如果根据上一条观点，只有一个检测框符合条件。同时，为了提高检测角点和中心点的质量，作者提出级联角点池化和中心池化改善上述关键点的生成。二者的具体内容请查看后文。

---

2. Related Works

相关工作部分，作者首先列举了经典的两阶段目标检测算法如$\mathrm{R}$-$\mathrm{C}\mathrm{N}\mathrm{N}$系列、$\mathrm{S}\mathrm{P}\mathrm{P}$-$\mathrm{N}\mathrm{e}\mathrm{t}$、$\mathrm{R}$-$\mathrm{F}\mathrm{C}\mathrm{N}$、$\mathrm{C}\mathrm{a}\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{d}\mathrm{e}\mathrm{R}$-$\mathrm{C}\mathrm{N}\mathrm{N}$等和一阶段目标检测算法如$\mathrm{Y}\mathrm{O}\mathrm{L}\mathrm{O}$系列、$\mathrm{S}\mathrm{S}\mathrm{D}$、$\mathrm{R}\mathrm{O}\mathrm{N}$、$\mathrm{R}\mathrm{e}\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{D}\mathrm{e}\mathrm{t}$等，同时本文的主要工作来源于对$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$改进，其相关内容可以参考这里。

---

3. Our Approach

3.1 Baseline and Motivation

图3：CornerNet实验结果

上图是$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$在$\mathrm{M}\mathrm{S}\mathrm{C}\mathrm{O}\mathrm{C}\mathrm{O}$数据集上的实验结果，$\mathrm{F}\mathrm{D}$表示误检率。结合结果我们可以看到，$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$对小目标的检测不具有鲁棒性，这与在对我们对$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的总结时的观点一致。作者指出产生上述结果的主要原因是，$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$不能评估产生边界框的质量，即没有对生成的边界框作进一步处理。作者首先考虑的解决办法是将$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$改造成一个两阶段算法，额外添加一个阶段单独处理生成的边界框。但由于这回引入大量额外的计算，作者并没有采用。作者采用的另一种方案，即$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$。

3.2 Object Detection as Keypoint Triplets

图4：CenterNet网络结构

如图$4$是$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的整体检测思路。首先输入图像经过骨干网络得到特征图，然后由卷积产生两个分支，分别通过级联焦点池化和中心池化产生角点的热图和中心点的热图。角点通过嵌入向量和偏移调整，中心点通过偏移调整。具体地，首先使用$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$中的方法产生$\mathrm{t}\mathrm{o}\mathrm{p}$-$k$个预测框，然后按照以下流程过滤掉不合理的边界框：$(1)$根据置信度选取$\mathrm{t}\mathrm{o}\mathrm{p}$-$k$个中心点；$(2)$将这些中心点映射回原图；$(3)$为每个预测框定义一个中心区域，然后判断中心关键点是否位于该中心区域，如果是，则保留该预测框，同时其置信度设置为两个角点和中心点三者置信度的平均值；否则丢弃它。

由以上过程我们可以观察到，预测框的中心区域的大小至关重要。举例来说，如果在检测小目标时设置的预测框的中心区域太小，因为小目标的边界框和中心点在映射时本来就存在偏移，这会使得很多正样本被丢弃；在检测大目标时设置的预测框的中心区域太大，因为偏移产生的误差相对整个目标来说很小，这会造成中心关键点落入很多负样本的中心区域内。直观上，我们需要针对较小的边界框生成较大的中心区域、针对较大的边界框生成较小的中心区域。论文的设计思路是根据各角点和中心点的坐标信息生成自适应大小的边界框。令$i$表示某个边界框，$j$表示对应生成的中心区域。$\mathrm{t}{\mathrm{l}}_{\mathrm{x}}$、$\mathrm{t}{\mathrm{l}}_{\mathrm{y}}$和$\mathrm{b}{\mathrm{r}}_{\mathrm{x}}$、$\mathrm{b}{\mathrm{r}}_{\mathrm{y}}$分别表示边界框左上角和右下角的坐标，$\mathrm{c}\mathrm{t}{\mathrm{l}}_{\mathrm{x}}$、$\mathrm{c}\mathrm{t}{\mathrm{l}}_{\mathrm{y}}$和$\mathrm{c}\mathrm{b}{\mathrm{r}}_{\mathrm{x}}$、$\mathrm{c}\mathrm{b}{\mathrm{r}}_{\mathrm{y}}$分别表示中心区左上角和右下角的坐标，它们满足如下关系式：
$$\{\begin{array}{rl}& \mathrm{c}\mathrm{t}{\mathrm{l}}_{\mathrm{x}}=\frac{(n+1)\mathrm{t}{\mathrm{l}}_{\mathrm{x}}+(n-1)\mathrm{b}{\mathrm{r}}_{\mathrm{x}}}{2n}\\ & \mathrm{c}\mathrm{t}{\mathrm{l}}_{\mathrm{y}}=\frac{(n+1)\mathrm{t}{\mathrm{l}}_{\mathrm{y}}+(n-1)\mathrm{b}{\mathrm{r}}_{\mathrm{y}}}{2n}\\ & \mathrm{c}\mathrm{b}{\mathrm{r}}_{\mathrm{x}}=\frac{(n-1)\mathrm{t}{\mathrm{l}}_{\mathrm{x}}+(n+1)\mathrm{b}{\mathrm{r}}_{\mathrm{x}}}{2n}\\ & \mathrm{c}\mathrm{b}{\mathrm{r}}_{\mathrm{y}}=\frac{(n-1)\mathrm{t}{\mathrm{l}}_{\mathrm{y}}+(n+1)\mathrm{b}{\mathrm{r}}_{\mathrm{y}}}{2n}\end{array}\text{\hspace{1em}(1)}$$

其中$n$的取值为$3$和$5$，分别对应于边界框的尺寸小于和大于$150$，如下图：

图5：生成中心区域

3.3 Enriching Center and Corner Information Center Pooling

中心池化的提出用于解决寻找目标几何中心关键点的问题。如图$6$中的子图$1$所示，为了确定热图上某点是否为中心关键点，逐像素地寻找点所处位置的水平方向和垂直方向的最大值，然后将二者相加。这样中心池化有助于增强中心关键点的响应，最后根据像素值的大小确定该点是否为我们寻找的中心关键点。

图6：中心池化和级联角点池化

先来回忆$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$中寻找角点的过程，如上图中的子图$2$所示，角点池化利用所在位置的水平方向和垂直方向的最大响应来定位角点。作者指出，角点池化的方式对边界框的边界产生很大的依赖性，并提出寻找角点时应充分考虑框内部的信息，即论文提出的级联角点池化。如上图中的子图$3$所示，首先沿着边界框的边界框寻找最大响应的位置，然后在找到的位置处往边界框的内部扫描找到最大值，最后将两个最大值相加作为对应边界位置处的值。然后通过角点池化的方式找到相应角点，这样级联角点池化过程同时利用了边界框的边界信息和边界框的内部信息。

另外，论文中提出的中心池化和级联角点池化均可以通过组合不同方向上的角点池化实现，如下图所示。如第一个虚线框内的中心池化过程而言，我们可以同故宫组合四个方向上的池化结果得到中心池化的结果。如第二个虚线框内的顶部级联角点池化而言，它可以通过首先在上边界找到最大响应位置，然后组合垂直方向池化的结果即得到顶部级联池化的结果。

图7：中心池化和级联角点池化的实现

3.4 Training and Inference

$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$中损失函数的定义参考$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$，其具体形式如下：

$$\mathrm{L}={\mathrm{L}}_{\mathrm{d}\mathrm{e}\mathrm{t}}^{\mathrm{c}\mathrm{o}}+{\mathrm{L}}_{\mathrm{d}\mathrm{e}\mathrm{t}}^{\mathrm{c}\mathrm{e}}+\alpha {\mathrm{L}}_{\mathrm{p}\mathrm{u}\mathrm{l}\mathrm{l}}^{\mathrm{c}\mathrm{o}}+\beta {\mathrm{L}}_{\mathrm{p}\mathrm{u}\mathrm{s}\mathrm{h}}^{\mathrm{c}\mathrm{o}}+\gamma ({\mathrm{L}}_{\mathrm{o}\mathrm{f}\mathrm{f}}^{\mathrm{c}\mathrm{o}}+{\mathrm{L}}_{\mathrm{o}\mathrm{f}\mathrm{f}}^{\mathrm{c}\mathrm{e}})\text{\hspace{1em}(2)}$$

${\mathrm{L}}_{\mathrm{c}\mathrm{e}\mathrm{t}}^{\ast }$表示角点和中心关键点检测时的损失函数，${\mathrm{L}}_{\mathrm{p}\mathrm{u}\mathrm{l}\mathrm{l}}^{\mathrm{c}\mathrm{o}}$和${\mathrm{L}}_{\mathrm{p}\mathrm{u}\mathrm{s}\mathrm{h}}^{\mathrm{c}\mathrm{o}}$表示在角点匹配时的损失函数，${\mathrm{L}}_{\mathrm{o}\mathrm{f}\mathrm{f}}^{\ast }$表示角点和中心关键点偏移时的损失函数。损失函数的由来可参对$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的介绍。

---

4. Experiments

图8：目标检测的实验结果对比

由结果可知，$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的各项检测指标在一阶段目标检测算法中均达到最佳。

图9：CornerNet和CenterNet的误检率对比

上图是关于$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$和$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$在各种条件下误检率的对比。由图可知，$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$在各项检测指标上均优于$\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$。但同时我们也可以观察到小目标的检测仍存在着较大的问题，$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$仍没有有效改善基于关键点的目标检测算法对于小目标检测的问题。

图10：论文创新点的实验结果对比

上图是关于$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$中创新点的实验结果对比，$\mathrm{C}\mathrm{R}\mathrm{E}$、$\mathrm{C}\mathrm{T}\mathrm{P}$和$\mathrm{C}\mathrm{C}\mathrm{P}$依次表示引入中心区域的操作、中心池化和级联角点池化池化，由结果可以观察到，各创新点均对最后的实验结果有提升效果。

图11：是否使用标注信息替代中心关键点

上图就是否使用标注信息获取边界框的中心而直接作为中心关键点来过滤无效边界框。由结果可知，论文的方法可以得到更佳的检测结果。

---

5. Conclusions

论文的主要贡献是对$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$的改进，利用生成边界框内部的信息来筛选出高质量的边界框，同时提出中心池化和级联角点池化来改善各关键点的生成。最后作者指出，文中还指出可以给一阶段检测算法，如$\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{e}\mathrm{t}$等，添加一个判别器用于进一步筛选预测框而使其具备两阶段目标检测算法的能力。一方面可以提高模型的检测性能，另一方面可以减少不必要的额外开销。

---

参考

1. Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 734-750.
2. Duan K, Bai S, Xie L, et al. Centernet: Keypoint triplets for object detection[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 6569-6578.

---

完

---