每日论文3---CVPR2022 3D目标检测

A Versatile multi-view framework for lidar-based 3d object detection with guidance from panoptic segmentation

作者通过全景分割作为辅助任务来指导3D目标检测工作，此外，作者认为利用Range-View(RV)的网络特征可以指导基于BEV的检测模型，减少BEV投影中特征表示的稀疏性。

模型整体结构

作者的3D全景分割分支和3D目标检测分支分别使用Cluster-free 3D Panoptic Segmentation (CPSeg)和CenterPoint。
1.CPSeg采用双解码器架构进行全景分割，无需生成对象建议或使用聚类算法。backbone采用激光雷达点云的RV表示，并提供多尺度特征图。语义解码器提供语义标签，实例解码器预测对象质心。与语义解码器仅利用encoded feature maps不同，实例解码器受益于计算曲面法线的附加信息。
2.CenterPoint这篇文章的灵感来自于图像中的目标检测算法CenterNet，该模型是一种两阶段的三维物体检测方法，two-stage考虑的是BEV平面的feature，并考虑了第一阶段proposal的四个边所处位置信息。

Attention-based RV-BEV Feature Weighting Module

如上图所示，灰色块表示CPSeg模型，蓝色块表示one-stage CenterPoint模型。绿色块是在多任务框架下结合三维全景分割和三维目标检测提出的模块。
模型分别使用Centerpoint和CPSeg提取点云特征，随后进行Multi-View Backbone Augmentation。


如上图所示，模型使用类似于CBAM的注意力模块来聚合RV中各个层的信息以及融合RV和BEV中的feature。其中channel-wise计算各channel中的权重，而space-wise计算空间个点的权重。

Class-wise Foreground Attention Module

该模块从CPSeg中获取每个前景对象类别的估计概率图。将这些映射投影到BEV平面上，通过最大池化进行下采样，以匹配组合的RV-BEV特征映射的分辨率。对于每个前景对象类别，创建一个类级注意分支，该分支在特定类的概率图和输入特征图之间进行元素级乘法。总体而言，该模块将***前景语义信息嵌入到特征图中，对分类和定位任务都有帮助***。

Center Density Heatmap Module

我们知道，3D检测中更加关心前景点。因此该模块的目的是为检测头提供实例级信息。从CPSeg估算的每个点的三维盒中心偏移量被用来创建3D boxes中心潜在位置的hotmap，来指导检测头。更具体地说，来自CPSeg的预估前景掩码被用来过滤掉背景点，因为从这些点的中心偏移是没有意义的。剩余的前景点根据偏移预测移动，并投影到BEV平面上。

其中C(x, y)为投影点个数，H(x, y)为生成的中心密度热图，x、y分别为BEV平面的水平坐标和垂直坐标，热力图如下所示。


该文的baseline为HotSpot，一篇2020年的ECCV，其也是预测中心点位置的anchor-free3D检测模型。