自动驾驶4D毫米波雷达文献综述

文献阅读笔记：《4D Millimeter-Wave Radar in Autonomous Driving: A Survey》

         4D毫米波（mmWave）雷达，能够测量目标的距离、方位角、高度和速度，已经在自动驾驶领域引起了相当大的兴趣。这归因于它在极端环境下的鲁棒性，以及出色的速度和高度测量能力。

        4D毫米波雷达不仅是毫米波雷达的改进版本，而且还引入了许多重要的研究课题。4D毫米波雷达的原始数据大小比传统雷达的原始数据大小要大得多，这在信号处理和数据生成方面带来了挑战，更不用说杂波和噪声了。现有信号处理流中产生的4D毫米波雷达点云的稀疏性和噪声比激光雷达点云更严重，需要精心设计的感知、定位和映射算法，以考虑4D毫米波雷达的固有特性。

1.毫米波雷达的传统信号处理流程及相应的数据格式如下图：

（雷达信号处理最核心工作：依次完成径向距离、径向速度、方位角的估计问题（在满足一定条件下都可等价为各自独立频率的估计问题），常见的处理架构是Range-Doppler-Angle 或Range-Angle-Doppler。4D毫米波雷达引入高度信息、芯片级联→信号处理框架更加丰富（FFT增加），需基于应用场景选择合适的处理框架，二者处理流程不同之处如下）

 

2.如上所述: 4D毫米波雷达最关键的能力是测量目标的标高，这相当于提高标高的分辨率。具体方法可分为硬件和软件级别：

1) 硬件：在硬件层面，增加TX-RX对的数量或天线孔径是提高分辨率的两种主要方法，包括：

• 级联：简单级联几个标准mmWave雷达芯片可以增加TX-RX对，从而提高角度分辨率。例如，一个12TX-16RX（192对）的4D mmWave雷达可以通过级联4个标准的3TX-4RX（12对）雷达芯片来形成。这是最直接的方法，但尺寸和功耗也增加了。
• 芯片集成：在一个芯片上集成更多的天线是另一种很有前景的技术。它具有取代级联的潜力，但天线之间的干扰仍是一个未解决的问题。
• 超材料：由材料构建的孔径可以在控制尺寸的同时显著提高角度分辨率，但这种方法还不够成熟，不能得到广泛的应用。

2）软件：通过虚拟实现沿着处理流程的硬件改进或优化信号处理算法，可以在软件层面上提高雷达的分辨率。

• 虚拟孔径成像：受传统合成孔径雷达（SAR）的启发，一些研究人员试图通过软件设计来虚拟扩展天线的孔径，从而提高角分辨率。该方法对提高角分辨率有显著的效果，但通常需要级联的帮助来降低噪声。
• 超分辨率：超分辨率可以通过用创新的算法，甚至是基于机器学习的算法来取代信号处理流程中如FFT的传统方法来实现。然而，它也需要更深入的研究。 

3.外部补偿：

雷达点云相对稀疏，频谱数据也不够直观。由于多路径效应和杂波干扰，噪声也相当大，给校准带来了挑战。对于4D毫米波雷达，较高的分辨率缓解了这一问题，但仍缺乏足够鲁棒的实时校准方法。

根据传统的3D毫米波雷达的校准方法，通常采用角反射器来提高校准精度。通过在特定位置仔细放置几个角反射器，分析4D毫米波雷达的传感结果，并将其与激光雷达和相机数据进行比较，可以实现校准。

4.基于学习的雷达点云生成：

        4D雷达点云稀疏性的一个主要原因是CFAR造成的大量信息损失。为了解决这一问题，越来越多的基于深度学习的方法被提出来取代CFAR，并直接使用RD-MAP或4D张量，以提高4D雷达点云的质量和下游自动驾驶任务的性能，如感知和定位。相关工作，以及4D mmWave雷达的数据集、感知、定位和映射算法，一致显示在下图的时间线上。

        通常，如果cell是独立且同分布的，则CFAR是一种最优的检测算法。然而，由于现实世界中的目标通常具有不同的形状，占据多个单元，CFAR方法会产生掩蔽效应，降低点云的分辨率，并遭受信息损失。

        Brodeski等人首先将CNN应用于RD-MAP对多个目标的检测和定位，称为DRD（深度雷达探测）网。他们将RD图中的目标检测制定为一个分割任务，并采用类似于2D-U-Net的模型结构。由于缺乏标注良好的数据集，特别是雷达RD地图，他们参考了雷达校准过程，在消声室中安排角反射器来收集相应的数据，并将其作为标签映射回RD-MAP。实验表明，DRD网络可以实时工作，在检测精度方面优于经典方法。

        然而，由于在暗室中收集的数据与在真实驾驶场景中收集的数据不同，因此RD-MAP的标记挑战仍然存在，这在多路径反射、干扰、衰减等方面更具挑战性。为了解决这一挑战，Cheng等人使用LiDAR点云作为监督，并依次设计了基于U-Net和GAN的网络结构。在复杂的道路场景中，与经典的CFAR探测器相比，生成的四维雷达点云不仅包含更少的杂波点，而且提供了更密集的真实目标点云。

 

5.感知应用:

        目前，4D毫米波雷达的点云密度已经达到了与16束激光雷达相当的水平，4D毫米波雷达在低能见度和恶劣天气条件下表现出优越的鲁棒性。因此，研究人员一直试图将激光雷达点云处理模型转移到4D毫米波雷达中，用于目标检测、场景流预测等任务。此外，如前面所述，pre-CFAR雷达数据包含更丰富的信息，促进一些研究人员直接使用RD-MAP或4D张量，绕过点云生成任务。相关工作可进一步分为仅依赖于4D雷达和多模态传感器融合的工作。 

A. 自然，大多数相关的4D雷达方法都来自于基于激光雷达的方法。然而，由于毫米波雷达的稀疏性和噪声特性，仍然需要具体的网络设计。

• 3D检测：对于3D目标检测任务，根据模型架构之间的差异，感知方法可以分为基于cnn和基于变压器的感知方法。Palffy等人首先将点柱应用于4D雷达点云，用于多级道路用户的3D检测。通过时间积分和引入附加特征，如高程和多普勒速度，提高了性能。
• 场景流估计：场景流估计的目的是计算一个3D运动向量场，它代表了环境中自我的静态和动态元素的运动。虽然一些研究传统上依赖于不同的传感模式，如摄像机或激光雷达来估计场景流，但也有一些方法利用4D毫米波雷达数据来完成这项任务。Ding等提出了一种新的基于跨模态学习的基于4D雷达的场景流估计方法，主要是基于现代自动驾驶车辆的共定位感知冗余。这种冗余隐含为雷达场景流估计提供了各种形式的监督线索，有效地解决了雷达点云标注的困难问题。具体地说，本工作为跨模态学习问题引入了一个多任务模型架构。大量的实验表明了该方法的最先进的性能，并证明了跨模态监督学习在推断更准确的4D毫米波雷达场景流方面的有效性。

B. 融合方法:考虑到4D毫米波雷达已经可以提供点云信息，一些学者已经将其与摄像机或激光雷达融合进行目标检测，希望提高感知模型的准确性和鲁棒性。一般来说，对于不同的模式有三个融合级别：数据级别、特征级别和决策级别。现有的研究主要集中在特征级的融合上。对于4DRV（4D雷达与视觉）融合，4D毫米波雷达可以以低成本提供高精度的深度和速度信息，弥补了摄像机的不足，从而提高了3D检测的精度。在最近的研究中，4D毫米波雷达信号通常被转换为二维图像样特征，以便它们可以与相机图像一起实际部署。

6.定位和映射应用:

        在卫星定位信息不准确或无法获得高清地图的恶劣环境中，需要通过感知传感器进行定位和测绘。利用新兴的4D毫米波雷达进行了一些相关的研究。由于雷达点云比张量轻得多，对激光雷达的研究可以稍微调整即可转移到那里，因此对雷达张量的定位和映射的研究很少。

A. 测程法

        雷达测程估计是定位的核心，也是SLAM的关键组成部分。关于4D毫米波雷达的相关研究较多。然而，由于雷达的稀疏性和噪声，测程法主要是在惯性测量单元（IMU）的帮助下产生的。多尔和特罗默使用无人机（UAV）对这个话题做出了很多贡献。他们通过气压计估计无人机的高度，然后利用基于随机样本和共识（RANSAC）的最小二乘，利用雷达点云的多普勒信息来估计自我速度。最后对IMU数据进行融合，构建了基于扩展卡尔曼滤波器（EKF）的雷达惯性测程法。在此基础上，他们考虑了曼哈顿世界的假设，即假设环境中的平面彼此正交，并获得了与最先进的视觉惯性测程法相当的精度。然后将这一贡献扩展到多个雷达，并在退化的视觉条件下显示出令人满意的性能。此外，他们还研究了4D毫米波雷达与视觉和热信息的融合，以进一步提高感知结果。这些研究的唯一缺点是，基于EKF的算法可能会面临应对大规模环境的困难，因为测程漂移会增加。在大多数工作中，曼哈顿世界的假设可能会限制其在恶劣的户外环境中的适用性。

B. 重新定位

        重新定位依赖于高精度的在线映射，并且在在SLAM中使用高清晰度映射或检测循环闭合时具有重要意义。考虑到4D毫米波雷达点云的稀疏性和噪声，Cheng等利用多普勒速度去除移动物体，然后通过合并多次连续扫描来增强点云。受著名的点态网络的启发，采用基于多层感知（MLP）的网络将每个点的维数从4增加到1024，进行点态特征提取。通过比较当前扫描的提取特征和全局图，可以实现重新定位。

C. SLAM

        由于上述测程和重定位对于SLAM是必不可少的，因此对4D毫米波雷达SLAM的研究是最近才出现的。Zhuang等人开发了一种基于迭代EKF的四维毫米波雷达点云的全过程SLAM。为了避免类RANSAC方法引起的稀疏性，他们采用迭代重加权最小二乘法进行自我速度估计。每个雷达点的重量也反映了它的动态，因此可以帮助去除移动的物体。扫描与子映射之间的非常规分布-分布匹配进一步降低了稀疏性的影响。其效果如下图所示

7.未来趋势:

        4D毫米波雷达有可能给自动驾驶汽车带来深刻的变化。尽管如此，目前它还远未成熟。4D毫米波雷达的未来发展趋势可能主要依赖于以下几方面:

• 点云增强：4DmmWave雷达点云作为最常用的数据格式，与其他传感器相比，其质量明显较低。点云的数据质量受到雷达的多路径效应等特性的严重影响。此外，迫切需要改进信号处理流程中的信息丢失，特别是用精确设计的基于学习的方法取代CFAR。基于学习的DOA估计方法，而不是DBF方法，也可以探索超分辨率角度估计。
• 应用算法的重新设计：除了改进4D -mmWave雷达点云外，信号处理后的应用算法也是另一个不可忽视的问题。到目前为止，从相应的激光雷达算法中改进了一些4D毫米波雷达的应用算法。4D毫米波雷达的专长，如速度测量能力和在极端环境下的自适应能力等，在未来的研究中有待进一步探索。在感知任务中，多模态融合无疑是未来的发展方向。然而，集成其他传感器分支是否会削弱4D雷达在极端天气条件下的鲁棒性，仍有待探索。对于4D毫米波雷达的定位和测绘，传感器与激光雷达和照相机的融合有很大的发现空间。
• 预点云数据利用：对于4D -mmWave雷达信号处理流的独特数据格式，如原始ADC数据、RD-MAP和4D张量，利用这些数据进行感知、定位和映射是一个有趣但几乎未触及的话题。基于学习的模型利用这些数据的大量信息，同时保持可接受的实时性能，可能是一个研究热点。
• 丰富数据集：与所有其他数据驱动的研究领域一样，4D-mmWave雷达的数据集在相关研究中发挥着重要的作用。现有的包含4D毫米波雷达的数据集相对罕见。数据格式和场景丰富度是等待扩展的两个主要领域。