【论文笔记】Integrated Sensor Fusion Based on 4D MIMO Radar and Camera: A Solution for Connected Vehicle A

论文名称：Integrated Sensor Fusion Based on 4D MIMO Radar and Camera: A Solution for Connected Vehicle Application
原文链接：https://ieeexplore.ieee.org/document/9913510

引言：连接车辆应用中的传感器融合

  路边交通传感器能感知更广阔的范围，且与车辆传感器的角度不同，可以提供与车辆传感器互补的信息。
  目前的路边传感器融合方案可以分为两种：

• 集成传感器融合（ISF）：不同传感器和计算平台被整合到一个设备中；
• 分布式传感器融合（DSF）：不同传感器和计算平台是通过网络连接的分立设备。

连接车辆的路边传感和路边边沿计算

系统结构

  支持连接车辆的基础设施系统架构包含3个基本功能：

1. 路边传感（典型设备：交通传感器）；
2. 路边边沿计算（典型设备：设备上的计算平台、路边多接入边沿计算/MEC）；
3. 路边通信（典型设备：路边单元）。

  实际中，路边传感和路边边沿计算可以集成到一个设备（ISF）或分布于多个联网设备上（DSF）。相比于DSF，ISF的优势在于：

• 低延迟：无需视频编码和解码；无需通过网络交换机和其他设备传输相机数据。
• 更容易的时间同步：雷达与图像信号处理流程的时间戳是由同一设备生成的。
• 对引起传感器移位的环境影响更鲁棒：该类环境影响包括风、热胀冷缩以及异物影响。不同传感器之间的坐标变换关系在ISF中更加稳定。
• 支持更先进和复杂的传感器融合算法：雷达与图像的处理流程有更多的交互和更深的耦合。
• 更低的总成本：ISF在成本、耗能、安装与维护费用上均比DSF低。

路边传感

  雷达与相机能提供互补信息。本文使用MIMO、FMCW的毫米波雷达用于定位和尺寸估计；相机用于物体、事件、交通标志和信号灯的分类。

路边边沿计算

  路边边沿计算负责传感器信号处理和结果融合。

基于MIMO雷达和相机的ISF

  如下图所示，ISF和DSF的传感器融合流程主要包括3部分：雷达信号处理、图像信号处理和结果融合。二者区别在于，由于无需通过视频编码来压缩数据进行设备间的传输，ISF的图像信号处理部分无需视频的解码。

雷达信号处理

  信号处理可分为以下几个部分：

 运动目标检测

  运动目标检测（MTD）包含前两维的窗口快速傅里叶变换（FFT），用于估计物体的距离和速度。由于FFT计算复杂度较高（$O(N\log N)$，其中$N$为FFT长度），故使用专用数字信号处理器进行FFT的计算。通过减小固定系统带宽的FMCW波的chirp持续时间，可以缩短FFT长度，从而加快处理速度，并增大最大可测速度、减小 1/f 噪声的影响。

 恒定虚警率检测

  恒定虚警率（CFAR）检测的输入由MTD生成的距离-多普勒热图沿虚拟天线阵列进行非相干累加组成。使用杂波图算法，将杂波图根据距离和多普勒分为扇形区域。杂波图是一种时间序列数据，使用指数平滑处理来预测CFAR阈值。这一方法具有较好的环境适应性和较低的计算复杂度。

 水平角和俯仰角的估计

  到达角（AoA）的估计与天线阵列设计以及估计算法相关。本文使用稀疏2D MIMO天线阵列来估计物体的水平角和俯仰角。根据射频前端的要求，本文特意设置了重复虚拟阵列的位置，使该阵列具有最小的冗余度和较短的馈线长度，以减少信号传输损耗。使用改进的快速反向投影算法估计AoA，因其有低计算复杂度和令人满意的性能。

 聚类与跟踪

  本文使用DBSCAN算法在4D空间内进行点云聚类得到物体，然后使用扩展卡尔曼滤波器（EKF）进行目标跟踪。雷达接收器采样率足够高时，可以假设在物体在较小时间窗口内进行线性运动，且具有匀加速度。这一简化模型极大减小了计算复杂度，且几乎不会造成性能损失。

 长宽高的估计

  得到当前帧物体的3D度量（长宽高）后，需要使用过去帧的观测来平滑，而这可以通过跟踪步骤中物体与轨迹的关联得到。本文使用低计算复杂度和较好性能的指数平滑作为低通滤波器，以减小当前帧估计误差产生的高频噪声。平滑后的3D度量被用于滤除虚假目标，从而减小虚警率。

图像信号处理：深度学习与计算机视觉

  在本文的方案中，物体的检测与分类是基于视频图像的深度学习实现的，需要较高的算力。本文使用YOLOv5这一单阶段网络进行检测与分类。因为与YOLOv4相比，YOLOv5更轻量、更快、更精确。

时间同步与空间校准

  ISF无需进行时间同步，因为不同传感器的信号是基于同一时钟源进行处理的。而DSF需要使用网络时间协议（NTP）或精确时间协议（PTP）进行时间同步，但需要额外设备支持，会引入额外复杂度和成本。
  由于ISF中，相机与雷达位于同一设备，有相同的坐标原点，且位置关系相对固定，因此ISF的空间校准比DSF容易得多。ISF对会导致传感器移位的环境影响也更加鲁棒。

物体级别的数据融合

  雷达和图像分别产生各物体的3D边界框（中心位置和3D度量）后，将图像中的结果转换到雷达坐标系下，然后求取两个传感器物体边界框尺寸之差以及中心距离的加权和。如果结果小于预设阈值，则将来自图像的轨迹和来自雷达的轨迹进行关联，并进行物体级别的结果融合（类别、尺寸、位置、朝向、速度）。
  使用MIMO雷达估计的俯仰角和距离测量物体高度，从而滤除地面反射噪声导致的虚警。MIMO雷达估计的尺寸信息也可帮助物体分类。

系统配置

  本文对ISF和DSF进行了评估。两个系统均包括一个MIMO雷达、一个相机和一个计算平台。

性能评估

  将ISF的结果用于优化信号灯的状态和时间后，交通效率（如绿灯使用率，即绿灯时单位时间内通过的车辆数）有了极大提升。若将ISF的结果传输到车辆上，能够进一步提高交通效率。

系统的端到端延迟

  实验表明ISF比DSF有显著更低的端到端延迟，因为ISF中的视频无需编码和解码，且网络传输延迟因为位于同一设备而被降到最低。
  ISF能够实时提供路边感知结果。

物体分类精度

  实验表明，ISF在不同距离物体上的精度均高于DSF，这是因为DSF的视频传输延迟较高，且容易丢帧，从而导致偶发的融合失败。