CenterNet( Keypoint Triplets for Object Detection) 学习笔记

论文: CenterNet: Keypoint Triplets for Object Detection

代码: https://github.com/Duankaiwen/CenterNet

作者: Kaiwen Duan, Song Bai, Lingxi Xie, Honggang Qi, Qingming Huang, Qi Tian

一、CenterNet的提出

在目标检测方面，基于关键点的方法(CornerNet)由于缺少对预测框内部视觉模式的感知，会产生大量的误检候选框。下表列出的是CornerNet在MS-COCO验证集中误检率(False discovery rate)。

即使选取与ground truth的iou为很低的0.05，误检率依然可以达到32.7%；在小物体中，误检率更高，可以达到60.3%。论文中分析一种可能的原因是CornetNet没有查看候选框内的区域。这种问题的一种解决方案是采取RoI Pooling来查看(look into)候选框内区域的视觉模式，但RoI Pooling是计算昂贵的。

论文中提出了高度有效的CenterNet来探索每一个bounding box内部的视觉模式(to explore the visual patterns within each bounding box)。对于检测一个物体，CenterNet采取三元组关键点(左上点、右下点和center point)，它同时提高了recall和precision。同时论文中提出了center pooling，给中心区域(central regions)提供了更有辨识度的信息，和cascade corner pooling，来增强左上corner和右下corner的信息。

二、CenterNet介绍

CenterNet在CornerNet的基础上增加了预测中心关键点(center keypoints)的分支，并在此分支引入了center pooling。在预测corner分支，提出cascade corner pooling，它是在原来corner pooling的基础上增加了感知内部信息的能力。CenterNet的整体架构图如下所示:

接下来会介绍

• 如何使用中心关键点辅助预测
• center pooling
• cascade corner pooling
• loss函数

2.1 如何使用中心关键点辅助预测

类似于CornerNet，CenterNet在预测center keypoints时也使用了heatmap来预测中心点的偏移。

使用中心关键点辅助预测的流程如下:

• 产生top-k的bounding box(CornerNet)
• 根据score选出top-k的中心关键点
• 根据预测出的offsets把这些关键点映射到输入图像
• 对于每一个bounding box定义一个central region，检测在该central region是否存在和bounding box同类别的关键点
• 如果在central region检测到了关键点，将会保存该bounding box，这个bounding box的score也将会是这三个关键点的平均值。
• 如果在central region没有检测到关键点，这个bounding box将会被移除。

检测效果如Fig2所示。

central region的尺寸会影响检测结果。对于小的bounding box，其central region如果太小会导致较低的recall；对于大的bounding box，其central region如果太大会导致较低的precision。论文中提出了一种scale-aware的方法来自适应bounding box的大小。
这个方法会对小的bounding box产生一个相对较大的central region，对大的bounding box会产生一个相对小的central region。产生方式如下:
$$\{\begin{array}{l}ct{l}_x=\frac{(n+1)t{l}_x+(n-1)b{r}_x}{2n}\\ \\ ct{l}_y=\frac{(n+1)t{l}_y+(n-1)b{r}_y}{2n}\\ \\ cb{r}_x=\frac{(n-1)t{l}_x+(n+1)b{r}_x}{2n}\\ \\ ct{l}_y=\frac{(n-1)t{l}_y+(n+1)b{r}_y}{2n}\end{array}$$
$t{l}_x,t{l}_y,b{r}_x,b{r}_y$分别表示bounding box的左上点和右下点的(x,y)坐标，$ct{l}_x,ct{l}_y,cb{r}_x,cb{r}_y$分别表示其产生central region的左上点和右下点的(x,y)坐标。$n$为奇数，对于小于150和大于150的尺寸分别取3和5。其产生central region的效果如下图所示:

2.2 Center pooling

物体的几何中心不一定传递非常具有辨识度的视觉信息，比如人的头部具有非常强的辨识信息，但人的中心关键点在人的腰部。为了解决这个问题，论文中提出了center pooling来捕获更丰富, 更具有辨识度的视觉模式。其操作如图Fig4(a)所示。

对于每一个位置，我们从水平方向和竖直方向分别获取特征图的最大值，然后相加。

2.3 Cascade corner poolinng

Corner point通常在对象的外部，缺少局部外观特征。CornerNet采用corner pooling解决该问题，如Fig4(b)所示。但是它对边界很敏感，因为它沿着边界方向进行pooling。为了解决这个问题，让corners看到内部信息，论文提出了cascade corner pooling，如图Fig©所示。

• 它首先沿着边界寻找最大值max1
• 沿着边界最大值向内部寻找最大值max2
• max1和max2相加

通过这种方式，corners捕获了边界特征和视觉模式。

center pooling 和 cascade corner pooling可以通过corner pooling实现。

2.4 Loss函数

损失函数类似于CornerNet的损失函数，这里只把它列出来，详细信息可以参考CornerNet。

$$L_{loss}=L_{det}^{co}+L_{det}^{ce}+\alpha L_{pull}^{co}+\beta L_{push}^{co}+\gamma (L_{off}^{co}+L_{off}^{ce})$$

$co$表示corners, $ce$表示centers。

CenterNet实验结果

在单阶段检测模型里，效果最好；在双阶段检测模型里效果居中。

CenterNet的不足

检测到的每一个bounding box的视觉模式依赖于center keypoing，当center keypoing没有被检测到时，会对该bounding box的保留/移除产生影响。