CenterNet：Objects as Points学习笔记

Objects as Points

论文链接

代码链接

Abstract

• 本文将目标建模为一个点，即其边界框的中心点，本文的检测器CenterNet采用关键点估计来找到中心点，并回归到其他目标属性，例如尺寸，3D位置，方向，甚至姿态。
• CenterNet实现了速度与精度的最好权衡
  • on the MS COCO dataset, with 28.1% AP at 142 FPS, 37.4% AP at 52 FPS, and 45.1% AP with multiscale testing at 1.4 FPS.

Introduction

• 如图2所示，本文用边界框的中心来表示目标
• 本文的方法很容易扩展到其他领域，比如3D目标检测和多人姿态估计

Related Work

• 本文的方法与基于Anchor的一阶段算法类似，不同的是CenterNet用中心点代替了Anchor，不同之处在于：

  1. 我们分配的锚点仅仅是放在位置上，没有尺寸框。没有手动设置的阈值做前后景分类。（像Faster RCNN会将与GT IOU >0.7的作为前景，<0.3的作为背景，其他不管）
  2. 每一个目标只有一个positive的anchor，所以不需要NMS。仅仅是简单的从关键点热图中提取峰值点
  3. CenterNet使用高分辨率输出(步幅为4)，相对传统的目标检测器（步幅为16），所以不需要多尺度anchor

• 相较于其他基于关键点估计的检测方法，CenterNet省去了在关键点检测后的分组阶段

Preliminary

• 网络的输入为$I\in R^{W\times H\times 3}$

• 网络的输出是一个关键点热图$\hat{Y}\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$,其中$R$是输出步长4，$C$是关键点的类型数（如在人体姿态估计中是18，在COCO目标检测中是80）

• ${\hat{Y}}_{x,y,c}=1$对应检测到的关键点，${\hat{Y}}_{x,y,c}=0$表示背景

• 使用沙漏网络（ hourglass network）、ResNet、DLA作为backbone

• 训练沿用了CornerNet的方法

  • 使用高斯核$Y_{xyc}=ex{p}^{-\frac{(x-{\tilde{p}}_x{)}^2+(y-{\tilde{p}}_y{)}^2}{2{\sigma }_p^2}}$来减少对真实关键点周围负样本的惩罚，${\sigma }_p$根据目标的大小而定，如果同一个类的两个高斯重叠，则采用这篇论文里的方法 the element-wise maximum (这里有一个问题，本文的方法每张图片对每一个类只能检测一个目标吗？ 这里刚开始理解错了，这个部分是针对每一个Groundtruth，所以只有一个对应的预测点)
  • Heatmaps损失函数是有像素级别的有关键点惩罚减少的focal loss（$N$是输入图片中的关键点的数量）：

• Offsets损失函数为（监督仅作用于关键点位置，所有其他位置均被忽略）：

Objects as Points

• $(x_1^{(k)},y_1^{(k)},x_2^{(k)},y_2^{(k)})$ 为$c_k$类的对象$k$的边界框，它的中心点是$p_k=(\frac{x_1^{(k)}+x_2^{(k)}}{2},\frac{y_1^{(k)}+y_2^{(k)}}{2})$
• 对于每个目标，我们回归其大小$s_k=(x_1^{(k)}-x_2^{(k)},y_1^{(k)}-y_2^{(k)})$,为了限制计算量，对所有类别的目标使用单一大小的预测$\hat{S}\in R^{\frac{W}{R}\times \frac{H}{R}\times 2}$
• size损失为：

• 总的损失（${\lambda }_{size}=0.1,{\lambda }_{off}=1$）：

• 使用单一的全卷积网络来预测关键点$\hat Y $, offset $ \hat O$,\ast \ast size\ast \ast$ \hat S$,每个位置有$C+4$个输出

• From points to bounding boxes

  • 在推理时，提取每个类别热图中的峰值（大于其周围八个点），保留100个峰值
  • 用keypoint value${\hat{Y}}_{x_i{y}_{i}c}$作为检测置信度的度量
  • 通过下面的公式生成边界框（$(\delta {\hat{x}}_i,\delta {\hat{y}}_i)={\hat{O}}_{{\hat{x}}_i,{\hat{y}}_i}$ and$({\hat{w}}_i,{\hat{h}}_i)={\hat{S}}_{{\hat{x}}_i,{\hat{y}}_i}$​ ）

Implementation details

• 用可变性卷积修改了ResNet18和DLA34

Experiments

• 不同的backbone对精度的影响

• 和其他方法的对比

• 和当时所有主流方法对比（单尺度/多尺度）

Conclusion

• 本文方法时在CornerNet的基础上做了改进，用检测中心点取代检测两个角点，在一阶段检测器中达到了sota，在精度和速度之间做了很好的权衡
• 个人理解相较CornerNet提升的原因在于，中心点附近覆盖了更多的特征，所以更容易激活