【论文笔记】K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

原文链接：https://arxiv.org/pdf/2206.08171.pdf

阅读本文的目的是了解K-Radar数据集而非其目标检测方法。

1. 引言

  本文介绍了K-Radar这一大型4D雷达张量（多普勒-距离-水平角-俯仰角）目标检测数据集。该数据集还包含高分辨率激光雷达点云、来自4个环视相机的RGB立体图像、RTK-GPS和自车的IMU数据。采集场景包括多种道路（城市、郊区、高速路等）、多个时段（白天、夜晚）、多种天气（晴、阴、雨、雾、雪、雨夹雪等），可以验证雷达对天气的鲁棒性。标注信息由激光雷达点云获得，可根据校准矩阵转换到雷达坐标系下。此外，数据集还提供了物体的跟踪ID，可以用于目标跟踪任务。
  数据集的开发工具箱（devkit）包含基于4D雷达张量的网络训练/评估代码、标注/校准工具，以及可视化方法。
  此外，本文提出一个3D目标检测的基准方案，直接将4D雷达张量作为网络输入，证明了高度信息对雷达3D目标检测的重要性。

2. 相关工作

  在现有的数据集中，本文的K-Radar数据集包含的场景最丰富，数据量也大于多数数据集，且同时提供了雷达的4D点云和4D张量。

与VoD数据集相比，K-Radar有更大的数据量和更远的检测距离，包含的场景更加丰富，且提供了4D雷达张量，相机有360°视野。

3. K-Radar

3.4 K-Radar数据集的基准方案

  本文提出两种基准方案，一种是RTNH（带高度的雷达张量网络），使用3D稀疏卷积从含高度信息的雷达张量提取特征图；另一种是RTN（不带高度的雷达张量网络），使用2D卷积从不含高度信息的雷达张量提取特征图。

  如上图所示，RTNH和RTN均包含预处理、主干、颈部和头部。预处理部分将4D雷达张量转换到直角坐标下并提取感兴趣区的3D张量，其中多普勒维度通过平均操作压缩。主干网络提取多尺度特征，颈部网络拼接后，使用头部网络预测边界框。
  RTNH和RTN的唯一区别在于主干网络。其中RTNH使用3D稀疏卷积，仅考虑了雷达张量中前30%q强度的网格，生成3D特征图；而RTN使用2D卷积，生成2D特征图。

4. 实验

4.2 RTNH与RTN的比较

  实验表明，在3D AP指标上，RTNH比RTN的性能高出许多，说明高度信息对3D目标检测的重要性。此外，由于使用了3D稀疏卷积，RTNH所需的存储空间比RTN更小。

4.3 RTNH与PointPillars的比较

  实验表明，使用雷达的RTNH网络在所有天气下的总体性能上比使用激光雷达的PointPillars有更好的性能，证明了雷达对极端天气的鲁棒性。

5. 局限性与结论

5.1 4D雷达张量的视野局限性

  由于存储4D雷达张量需要的存储空间太高，因此K-Radar只记录了前向范围内的雷达数据。

5.2 结论

  本文的K-Radar数据集可以用于多种任务，如3D目标检测，目标跟踪、SLAM、视觉测程等。

附录

D. 标注和校准的细节

D.3 激光雷达与相机的校准细节

  在获取校准信息后，可通过将激光雷达点云投影到图像上获取图像深度图。通过插值来处理激光雷达点云的稀疏性，以获得密集深度图，可用于深度估计任务的研究。

E. 基准方案的细节

E.1 颈部和头部

  颈部网络将多尺度特征图通过转置卷积上采样并拼接；头部网络使用基于锚框的结构，如下图所示。

  训练时，分类和边界框回归分别使用focal损失和SmoothL1损失；测试时，使用非最大抑制移除冗余检测。

F. 对RTNH与PointPillars在不同条件下定性结果的额外讨论

  在晴天和阴天下，RTNH与PointPillars有相似的性能，且RTNH对漏检更加鲁棒。这说明单独的4D雷达足以用于自动驾驶的感知。

G. 使用多普勒测量的基准方案实验

  将使用多普勒测量的基准方案记为RTN4D。由于多普勒信息与强度信息有所不同：前者随周围物体的运动而变化，而后者与物体运动无关；因此RTN4D使用相同结构的两个编码器以针对两者不同的特性提取特征，并在最后进行拼接。实验表明，相比RTNH，使用多普勒信息能大幅提高性能。