雷达相机融合：CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection

1. CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection

1. Abstract

frustum：截锥体----去掉头部的锥体。

本文提出了一种称作 CenterFusion 的方法：

1. 利用中心点检测网络，通过识别目标在图像上的中心点来检测目标。（容易实现可忽略）
2. 采用一种新的基于 frustum 的方法将雷达检测结果与目标的中心点相关联，解决了关键数据关联问题。

相关的雷达探测被用来生成基于雷达的特征图来补充图像特征，并回归到目标属性，如深度、旋转和速度。据文中所说对速度的提升效果贼好。

2. Introduction

相机和激光雷达:

• 相机和激光雷达对于恶劣环境都很敏感，会大大降低 fov 和感知效果。
• 相机和激光雷达在没有时间信息的情况下，不能检测物体的速度。
• 在时间紧迫的情况下，依赖时间信息可能不是一个可行的解决方案。

毫米波雷达:

• 毫米波雷达在极端环境下的鲁棒性很好，且能检测非常远的距离。
• 毫米波雷达使用多普勒效应能够准确的估计所有检测无的速度，且不需要依赖时间信息。
• 与激光雷达相比，雷达点云在用作目标检测结果之前需要的处理更少。
• 由于激光雷达与雷达点云的内在差异，将现有的基于激光雷达的算法应用到雷达点云中或对其进行自适应是非常困难的。
• 雷达点云明显比激光雷达的对应部分稀疏，这使得它无法用于提取目标的几何信息。
• 聚合多个雷达扫描会增加点的密度，但也会给系统带来延迟。（因为时间同步？）
• 没有 $z$ 轴信息，有的也不准。

文中提出了 CenterFusion，利用毫米波雷达和图像数据做 $3D$ 检测。CenterFusion 着重于将雷达检测结果与从图像中获得的初步检测结果相关联，然后生成雷达特征图，并使用它与图像特征相结合来精确估计目标的 $3D$ Bounding Box。

• 1.使用关键点检测网络产生初步的三维检测，并提出了一种新的基于 frustum 的雷达关联方法（视锥关联方法？），以准确地将雷达检测与三维空间中的相应目标关联起来。
• 2.这些雷达探测被映射到图像平面，用于创建特征图，以补充基于图像的特征。
• 3.利用融合的特征准确估计物体的三维属性，如深度、旋转和速度等。

3. Preliminary

需要注意的是，毫米波雷达的速度是相对速度：

3.1 CenterNet

作者采用 CenterNet 方法从单目相机中检测 $3D$ 物体。

其中 keypoint 的 heatmap 定义为：
$$Y_{qc}=\underset{i}{\max }\exp \left(-\frac{{\left(p_i-q\right)}^2}{2{\sigma }_i^2}\right)$$

$c$ 为类别数量；$q\in {\mathcal{R}}^2$ 为位置；$p_i\in {\mathcal{R}}^2$ 为 bounding box 中心点；${\sigma }_i$ 是一个大小自适应的标准差，根据每个对象的大小控制其热图的大小

其中σi是一个大小自适应的标准差，根据每个对象的大小控制其热图的大小。使用全卷积 encode-decoder 网络来预测 $\hat{Y}$。

4. CenterFusion

提出了一种中间融合机制，将雷达探测结果与目标的中心点关联起来，利用雷达和图像特征，通过重新估计深度、速度、旋转和属性来提高初步探测结果。

融合机制的关键是准确地关联雷达探测到的目标。中心点目标探测网络为图像中的每个目标类别生成一张热图。热图中的峰值代表物体可能的中心点，这些位置的图像特征用于估计其他物体的属性。为了利用这种设置下的雷达信息，需要将基于雷达的特征映射到其对应目标在图像上的中心，这就要求雷达探测到的目标与场景中的目标之间有精确的关联。

４.1 Radar Association

为了在此过程中充分利用雷达数据，我们首先需要将雷达探测结果与图像平面上相应的目标相关联:

• Naive Method: 将每个雷达探测点映射到图像平面，并将其关联到一个对象(如果该点映射到该对象的2D边界框内)
  ---------１.该解决方案的鲁棒性不太好，因为在雷达探测和图像中的目标之间没有一一对应的映射;2.场景中的很多物体都会产生多重雷达探测，也有不对应任何物体的雷达探测;３.另外，由于雷达检测的 $z$ 维不准确(或者根本不存在)，映射的雷达检测可能会超出相应对象的 $2D$ 包围框；4.最后，从被遮挡的物体中获得的雷达检测将映射到图像中的相同的一般区域，这使得在2D图像平面上区分它们非常困难，如果可能的话。

• Frustum Association Mechanism:
  开发了一种利用物体的二维边界框及其估计的深度和大小来创建物体的 $3D$ 感兴趣区域(RoI)截锥体的方法。当物体拥有一个准确的 $2D$ bounding box 时，对物体产生一个如 Fig.3 所示的截锥体。这大大缩小了需要检查关联的雷达探测范围，因为任何超出这个截锥的点都可以被忽略。然后，我们使用估计的对象深度、尺寸和旋转来创建对象周围的 RoI，以进一步过滤出与该对象不相关的雷达检测。如果在该 RoI 内有多个雷达探测，则取最近的点作为该目标对应的雷达探测点。
  
  这里使用了一个参数 $\delta$，用来控制 RoI 截锥体的大小。
  
  RoI截锥方法使得关联重叠对象变得轻而易举，因为对象在三维空间中是分开的，这样会有单独的 RoI 截锥。它也消除了多检测关联问题，因为只有在感兴趣区域截锥内最接近的雷达检测与目标相关联。

• Pillar Expansion:
  为了解决高度信息不准确的问题，引入了一种雷达点云预处理步骤，称为支柱扩展，每个雷达点扩展为一个固定尺寸的支柱，如图4所示。柱子为雷达探测到的物理物体创造了更好的表现，因为这些探测现在与三维空间中的一个维度相关联。有了这个新的表示，我们简单地认为雷达探测在截锥内，如果其相应的支柱全部或部分在截锥内，如图1所示：