重读 CenterNet,一个在Github有5.2K星标的目标检测算法

作者 | 张凯

编辑 | CV君

报道 | 我爱计算机视觉(微信id:aicvml)

本文带领大家重温 Objects as Points 一文,其于 2019 年4月发布于arXiv,谷歌学术显示目前已有403次引用,Github代码仓库已有 5.2K 星标,无论在工业界和学术界均有巨大影响力。

论文作者信息:

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第1张图片

论文:

https://arxiv.org/abs/1904.07850

0.动机

使用卷积神经网络做目标检测,大体可以分为单阶段(one-stage)方法和二阶段(two-stage)方法。单阶段检测器预定义很多anchor,基于这些anchor去做检测,密集的anchor有助于提高检测精度,然而在预测阶段,真正起到检测作用的只有少部分anchor,因此导致了计算资源的浪费。

无论是单阶段检测器还是二阶段检测器,在后处理阶段都需要NMS(Non-Maximum Suppression)操作去除多余框,NMS操作只在推理阶段存在,NMS的存在导致现有的检测器并不是严格的端到端训练的。

基于上述现象,作者提出了CenterNet算法,直接预测物体bounding box的中心点和尺寸。相比其他方法,该方法在预测阶段不需要NMS操作,极大的简化了网络的训练和推理过程。

1.CenterNet原理

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第2张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第3张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第4张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第5张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第6张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第7张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第8张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第9张图片

2.网络结构

作者尝试了4种网络结构,分别为ResNet-18、ResNet-101、DLA-34、Hourglass-104,如下图所示,方框内的数字用于指出特征的尺寸,当方框内数字为4时,表示此时特征的长和宽分别为输入图片的1/4。

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第10张图片

Hourglass-104

如上图中图(a)所示,每个Hourglass模块是对称的5个下采样和5个上采样,中间使用skip connection进行短接,该网络的配置与文章《Cornernet:Detecting objects as paired keypoints》基本一致。

ResNet-18和ResNet-101

如上图中图(b)所示,作者在ResNet中做了些改动:在每个upsample操作之前加入了1个3x3的deformable convolutional layer,即在做upsample操作时,先通过deformable convolutional layer改变通道数,再进行反卷积(transposed convolution)操作。

DLA-34

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第11张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第12张图片

3.使用CenterNet做3D目标检测

2D目标检测只需要网络输出目标的位置和尺寸即可,而3D目标检测还需要网络输出目标的深度、(长、宽、高)、目标的角度这3个额外的信息。

3.1 深度

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第13张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第14张图片
重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第15张图片

4.实验结果

4.1 2D目标检测

作者使用了ResNet-18、ResNet-101、DLA-34、Hourglass-104这4种网络进行实验,输入图片分辨率为512x512,输出图片分辨率为128x128,训练时使用了如下数据增强方法:

random flip

random scaling

cropping

color jittering

在COCO训练集上训练,使用Adam优化器,ResNet-101和DLA-34的下采样层由ImageNet预训练权重初始化,上采样层随机初始化;Hourglass-104以ExtremeNet为基础微调。在8卡TITAN-V GPU上,ResNet-101和DLA-34训练了2.5天,Hourglass-104训练了5天。在COCO验证集上测试,结果如下图所示:

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第16张图片

上图中,“N.A”表示测试时未使用数据增强;“F”表示测试时使用了flip方式进行数据增强,在解码bounding box之前平均2个网络的输出结果;“MS”表示使用了5个尺度(0.5,0.75,1,1.25,1.5)进行推理,使用NMS融合5个网络的结果。“FPS”的测试是基于Intel Core i7-8086K CPU、TITAN Xp GPU、Pytorch 0.4.1、CUDA9.0和CUDNN7.1环境。

下图为使用DLA-34和Hourglass-104这2种结构在COCO测试集上的测试结果:

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第17张图片

包含“/”的项表示“单尺度/多尺度”结果。可以看到使用Hourglass-104结构精度可以达到45.1% AP,超越了其他单阶段检测器。

4.2 3D目标检测

在KITTI数据集上训练3D目标检测算法,训练时没有使用数据增强技术。在训练和测试时,输入图片分辨率为1280x384,使用DLA-34网络结构。对于包含深度、(长、宽、高)和方向的损失函数,训练时权重均设置为1。

在测试时,recall的值设置为从0到1步长为0.1的11个值,IOU阈值为0.5,计算2D bounding box的AP、度量角度准确性的AOS、鸟瞰图bounding box的BEV AP。针对该数据集训练5个模型,测试结果取5个模型平均值,并给出标准差。测试结果如下:

重读 CenterNet,一个在Github有5.2K星标的目标检测算法_第18张图片

上图中分别与Deep3DBox和Mono3D进行比较,并且按照要比较的算法划分测试集。在AP和AOS两个指标下,CenterNet略差于Deep3DBox和Mono3D方法,在BEV AP指标下明显优于这2个方法。

5.总结

这篇文章有如下亮点:

提出了CenterNet框架用于目标检测,该方法预测目标的关键点和尺寸,简单、速度快、精度高,不需要预定义anchor,也不需要NMS,完全实现端到端训练;

在CenterNet框架下,可以通过增加网络的head预测目标的其他属性,比如3D目标检测中的目标深度、角度等信息,可扩展性强。

源码:

https://github.com/xingyizhou/CenterNet

仅用于学习交流!

END

你可能感兴趣的:(重读 CenterNet,一个在Github有5.2K星标的目标检测算法)