端到端自动驾驶的未来！最新协同感知V2X挑战及其对策

作者 | Lantao Li  编辑 | 自动驾驶之心

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

本文只做学术分享，如有侵权，联系删文

>>点击进入→自动驾驶之心【全栈算法】技术交流群  

论文作者 | Lantao Li

编辑 | 自动驾驶之心

1摘要

用于协同感知的连接车辆之间的多智能体-多激光雷达传感器融合最近被认为是最大限度地减少单个车辆感知系统盲区和进一步提高自动驾驶系统整体安全性的最佳技术。这项技术在很大程度上依赖于V2X通信的可靠性和可用性。在实际的传感器融合应用场景中，非视距（NLOS）问题不仅会导致感知系统出现盲区，还会导致V2X直接通信出现盲区。为了解决潜在的通信问题，作者为快速传感器融合匹配程序和移动高度混合中继节点测定程序引入了一种抽象感知矩阵匹配方法，主动提高了V2X通信的效率和性能，以满足上层应用融合需求。为了证明解决方案的有效性，作者设计了一个新的仿真框架，以考虑自动驾驶、传感器融合和V2X通信，为端到端性能评估和进一步的解决方案推导铺平了道路。

2介绍

自动驾驶是未来汽车备受期待的一项功能，受到了众多制造商、一级供应商（Tier 1）和研究机构的追捧和宣传。尽管近年来在相关领域取得了重大进展，如数据驱动的基于学习的驾驶技术、或计算机视觉任务-，但在可靠的全自动驾驶汽车成为现实之前，仍然存在挑战。特别是对于车辆感知系统来说，单机器人感知系统本身就容易受到遮挡阻塞的影响，使得车辆在任何时候都面临着无法弥补的损失，尽管测试表明发生事故的可能性极低。植被、建筑物和道路建设等静态物体，再加上车辆本身，几乎所有类型的传感器（如激光雷达、相机、雷达）都存在非视距（NLOS）问题。

最近的研究从相邻车辆的多个角度探讨了传感器数据共享的好处–，利用V2X技术的出现来增加单个车辆的实际检测区域，最大限度地减少感知系统的NLOS问题。然而，这些工作、都基于路测统计数据，将V2X通信技术提供的服务质量（QoS）假设为一组常数值（即数据速率、延迟预算、数据包错误率），而没有认真考虑环境可能动态地影响无线通信条件。在实际的V2X道路测试活动中，障碍物对V2X通信的影响不亚于它们对协同感知的影响，这意味着NLOS问题也适用于V2X无线信道-，应认真考虑，如下图1所示。

在本文中，作者将协同感知和V2X通信连接起来，提出了一种在动态无线通信环境中进行传感器融合的新方法。为了有效地启动移动车辆参与者之间的基本传感器融合过程，引入了计算和通信成本较低的抽象感知矩阵匹配（APMM）方法。为了抵消NLOS系统的影响，作者将优化的层不可知中继节点选择策略应用于支持V2X的车辆，同时考虑机动性和高度因素。为了研究环境如何影响作为自动驾驶系统的协同感知和无线通信，还开发了一个新的协同仿真框架，用于解决方案推导、性能评估和结果分析。据作者所知，本文首次阐明了动态无线条件下用于协同感知的车载网络的总体设计，以及涉及通信、移动性和传感的独特跨平台综合仿真框架。

总之，本文主要贡献如下：

1. 确定了车载传感器和V2X无线通信的NLOS问题。

2. 介绍了APMM，它可以在各种V2X消息中实现，并基于可量化的必要性触发传感器感知/协同感知服务。

3. 在传感器融合的中继节点选择策略上提出了作者的优化移动高度确定（MoHeD）方法，提高了传感器融合服务的可靠性和连续性。

4. 提出了一个新的仿真框架来进行和评估V2X服务的整体性能，将物理移动性因素、无线通信环境、传感器特性和自动驾驶策略更紧密、更现实地联系起来。

3相关工作

自动驾驶的协同感知： 模仿学习，在Pomerleau开创后被采用为自动驾驶的基线范式的一部分，协同感知，实现通过在车辆参与者之间共享原始或处理的传感器数据，最大限度地减少了感知系统盲区的大小，最近的融合transformer ，将最先进的性能提升到了一个新的水平，COOPERNAUT结合了这两个领域的精髓，提供了一个更通用的端到端解决方案。

网联车辆： V2X D2D是车载自组网（VANET）领域最突出的技术，预计将利用传感器共享、协同感知和行业其他关键应用的潜力，，而频繁的NLOS传输阻碍了V2X技术大规模部署的可靠性。研究，集中在D2D技术的不同层设计上，特别是中继选择机制，也被用来减轻障碍物的影响。

4预备知识

整个系统模型可以分为三个子模块：移动、无线和感知。设计场景中的移动性数据是无线子模块和感知子模块的物理基础，揭示了规划中的碰撞是否得以避免。协同感知依赖于无线技术来获取足够的原始或处理的感知信息作为自动驾驶代理的输入。

案例研究

混合车辆靠近或接近典型交叉口的一般场景如下图2所示。

垂直主干道有五条车道，水平主干道有四条车道，建筑物被道路分割成块。车辆可以分为两大类：基本车辆构成潜在的碰撞事件，随机产生的车辆代表背景交通。基本车辆包括自车（即具有基于协同感知的自动驾驶和V2X能力的车辆）、无视红绿灯的碰撞车辆（即速度设置微调以与自车碰撞的车辆），激光雷达传感器共享节点（即，碰撞车辆的立体感知）和阻塞车辆（即，具有显著高度的车辆，以引起自车的感知系统和自车与共享节点之间的无线传输的NLOS问题）。一辆随机产生的车辆被设置为平均每N米每车道生成一辆（即，每条车道每公里1000/N辆），并且所有随机产生的汽车都被V2X启用为中继节点候选。选择这样的交叉口闯红灯场景，不仅是因为它是美国国家公路交通安全管理局（NHTSA）碰撞前类型的典型性，还因为它受到NLOS影响的传输。除了建筑物作为静态障碍物外，所有车辆都将被视为移动障碍物。所有障碍物都可能导致NLOS条件和其他传播问题，影响传感器的传感能力和V2X模块的无线传输。作者的目标是分析基于协同感知的自动驾驶成功率（例如，在没有碰撞的情况下完成路线）与V2X通信质量之间的非线性关系。因此，作者强调了数据包错误率（PER）R，它直接影响端到端性能冲突率（CR）。V2X技术的两个主要竞争对手，由电气和电子工程师协会（IEEE）赞助的专用短程通信（DSRC）和由第三代合作伙伴规划（3GPP）支持的蜂窝V2X（C-V2X），都有优缺点。为了集中研究连接可用性和仿真开发的简单性，选择DSRC作为基础车载通信技术，因为作者的重点是NLOS问题对传输的影响，而不是通信效率，例如eNodeB/gNodeB精确的无线电资源分配或通过更先进的调制和编码提高的数据速率。

障碍物影响

对于毫米波（mmWave）传输，24.25 GHz-52.6 GHz，即频率范围2（FR2），只要存在NLOS，波束型通信就不存在，即使对于一个街区外基站形成NLOS的Uu型通信-，更不用说功能小得多的UE到UE通信了。V2X短距离通信批准的频段均为sub-6G，主要用于第一阶段的一些基础服务和第二阶段应用场景的一些演示/试用。sub-6G频段不太容易受到NLOS干扰，但中国真实道路的大规模测试结果仍然不令人满意，容易被树木和土堆影响。静态障碍物产生的信号衰减效应并不难预测，因为建筑物在高精（HD）地图上的位置准确，对传输衰减的贡献最大。自车可以基于规划路线和HDMap计算或预测沿每个方向的障碍物阻塞损失。以经验模型为例，作者可以得出每个穿透壁的信号损耗为9.6dB。另一方面，移动的障碍物造成了高度阈值确定问题，并且启用V2X的车辆参与者的障碍物和天线的相对高度如下：

其中，h表示障碍物峰值与连接和的直线之间的相对高度，对于DSRC/C-V2X D2D，波长λ约为5厘米，d1、d2为障碍物峰值分开的距离。作者主要考虑h大于0时的情况，功率损耗由ITU-R推荐的方程计算：

轿车或掀背车的正常天线高度约为1.5米至1.8米，SUV/MPV可能有0.3米的额外高度。通过计算，每个大型车辆障碍物的影响效应可达15-25 dB，这与真实的道路测试相对应，。

基于协同感知的驾驶控制

作者采用了COOPERNAUT的设计作为基于协同感知自动驾驶的骨干。自车的自动驾驶策略π是基于在时间t接收到的观测导出的。观测可以是和 i的组合，因为i表示相邻Nt辆车辆的index，其中,是一套关于汽油、刹车和转向的控制决策。一个经过训练的自动驾驶车辆，假设用于传感器融合的数据包接收率高出90%，在受约束的场景中可以轻松实现0%-1%的碰撞率，。然而，V2X无线通信的QoS动态受损会导致非线性驱动性能下降，这在以前的论文、中被忽略了，因此作者更全面地考虑了整个系统。当与前两个子节中引入的设计交通场景和障碍物影响效应相结合时，阻塞车辆一开始不会影响自车和共享节点之间的传输路径，从而实现传感器融合触发。然而，当自车接近十字路口时，它们确实阻碍了大部分数据包，由于缺乏对碰撞车辆的基本共享感知，严重降低了基于协同感知的自动驾驶的性能。

问题分析

在大多数拥有大规模V2X部署巨大潜在市场的地区，允许的V2X频带有限。这些频段将通过传输标准V2X消息（即BSM、RSM、CAM）实现多种服务，如合作换道、排队和易受攻击道路用户（VRU）通知。即使在部署最先进的传感器融合算法时，所需的带宽仍为2-10Mbps，对应于3-10MHz的带宽，这取决于特定的V2X技术和调制方案。这意味着即使有理想的信道分配，也只能支持少数并行传感器融合过程。未来，全球可能会商定更多的频率带宽，但V2X的带宽仍将被视为传感器融合服务的宝贵资源。因此，传感器融合/协同感知应用的初始步骤是验证以最小的计算和通信成本触发这种服务的必要性。作者还研究了数据压缩比对碰撞的影响，因为激光雷达点编码器的主干是基于Transformer和下采样的，可以对其进行调整，以形成一个替代的共享特征大小，用于后期融合。

除了带宽限制外，作者还强调NLOS传输，因为这是作者在武汉进行的现场测试中发现的最关键的问题。在V2X通信的QoS受损的情况下，有效通信范围将从100米下降到50米，只有一辆大型车辆有影响，，卡车车队的拐角情况可能会完全阻塞传输的信号，就像作者设计的交通场景一样。这种交流条件会削弱对周围物体的有效和持续的共享感知，从而导致意外事故。为了解决上述问题，作者提出APMM和MoHeD分别触发传感器融合和可靠的中继发现，共同确定优化的V2X通信策略。

5解决方案

传感器融合匹配和触发器

为了在不同场景下实现快速准确的传感器融合匹配过程，作者引入了一种抽象感知矩阵（APM），用于将自车的感知需求与理想感知提供者相匹配，其灵感来自点云数据的支柱处理和鸟瞰图分割。基于安装在支持传感器共享的车辆上的一个或多个传感器收集的点云数据，在过滤和修剪后，将原始数据点投影到预定义的2D网格上，并通过计算投影的点的数量来分配每个网格的index值。然后，将原始数据感知区域下采样为表示m×n网格形成的矩形的浓度的矩阵（），每个网格代表一个k×k米大小的区域作为具有抽象感知指标值的APM的分辨率。这样的矩阵数据可以由车辆或RSU以小的有效载荷（例如，20×20矩阵的1600字节）以及源UE车辆的绝对坐标（例如，GNSS位置）及其对应于矩阵的中心位置来周期性地广播。对于融合用户车辆（即作者设计的场景中的自车），在生成其自己的APM（Mego）的情况下，使用具有不同窗口大小的滤波器矩阵（）来定位感知信息阈值（）以下的区域，该阈值可以重新划分为具有相应中心和范围（、、）的盲区表示。通过坐标变换矩阵映射从周围传感器共享节点接收的APM上的盲区表示。盲区表示和APM的重叠区域采用另一个子矩阵（mbenefits）的形式，该子矩阵用于通过使用抽象感知index乘以重叠区域的总和来计算感知效益值。将每个传感器共享节点的收益结果与预定义的阈值进行比较，并针对实际的协同感知验证用于启动数据传输的传感器共享节点。与传统的每个传感器共享节点以协同感知消息（CAM）或路边安全消息（RSM）形式的基于文本的检测车辆列表不同，作者的APMM方法实现了低计算和标准化的消息有效载荷友好匹配过程，以确定是否需要触发传感器融合过程。

中继节点选择

一旦确定了传感器共享节点，就应该保证可靠的数据传输。在作者设计的交通场景中，中继节点是必不可少的，因为当自车接近交叉口时，阻塞车辆会阻碍来自目标共享节点的信号。作者介绍了MoHeD方法来选择合适的中继节点。基于自车的感知能力，基于激光雷达的目标检测和跟踪算法可以识别绕行车辆。这些车辆可以作为移动障碍物作为目标，在机动性和高度矩阵（即附加在APM上的附加矩阵）中具有有效的阻挡高度和相应的机动性信息。通过交换基本信息（例如，利用标准的V2X基本安全消息），可以向自车提供每个通信节点（即自车、中继节点、传感器共享节点）的移动性和物理尺寸信息。如果从不同侧面添加车辆类型障碍物的移动性和高度矩阵，通过添加另一层来揭示每个网格的代表性高度和移动性统计信息，从而丰富障碍物信息，则也可以利用在前一小节中介绍的从其他车辆参与者处接收的APM。在从传感器共享节点或中继节点候选接收到具有移动性和高度矩阵的APM作为触发时，自车行动者将在预定义的时间窗口（在作者的情况下，2000毫秒）内按以下顺序对中继节点候选者（例如，车辆或RSU）进行优先级排序：

1）在自车的移动性和高度矩阵上，用每个节点的基本高度和移动性信息定位传感器共享节点和中继节点候选者。该信息包含自车感测到的障碍物的现有移动性和高度信息；

2）如果可用，将其他节点视角下的额外机动性和高度矩阵与自车的感知结果相结合，生成更全面的背景信息；

3）在由通信节点的指标值形成的子矩阵中过滤出表示有效障碍的网格，如下图4所示；

4） 对于每个中继节点候选者，通过检查障碍物是否位于两个节点之间来分配NLOS风险值，如下图5所示，使用NLOS持续时间近似的通信节点速度的Eucliden距离；

5）通过比较前一步中计算的NLOS风险值来选择直接链路或选择NLOS危险较小的中继节点。

所提出的MoHeD方法源于检查传播线是否与任何物体的物理概述，进一步进入稳定和持久的LOS通信信道，通过通信节点和障碍物的移动性特征相似性（Si），通过欧几里得距离来衡量打破或维持NLOS路径的可能性，即：

然后组合与特定通信节点相关的所有NLOS风险值，以将NLOS危险值（VNLOS）反映为：

6仿真与结果

仿真框架和设置

如下图6所示，整个仿真框架可分为三个部分：

1）CARLA用于交通场景构建、车辆生成与控制、传感器部署、数据提取等的3D世界，为传感器共享提供了基础材料，无线通信仿真和自动驾驶目的。作者在CARLA世界中部署了碰撞交通场景，并提取了基于传感器融合的自动驾驶和无线仿真所需的所有地图数据、车辆和建筑物的物理特征、交通流动数据、传感器数据等。以CARLA为例，实时利用无线QoS影响的基于传感器融合的自动驾驶控制决策。2） COOPERNAUT的AutoCastSim执行的实际传感器融合和控制模块，部署了一个轻量级的基于端到端协同感知的自动驾驶模型，以根据可访问传感器数据的融合结果做出自车的控制决策。开发了一个V2X无线QoS特性函数，从无线仿真部分获取输入，以影响传感器融合过程的数据包传输。

3） 无线仿真部分考虑到车辆的移动数据、车辆和建筑物的物理尺寸来仿真V2X无线通信，构建了用于无线QoS特性分析的更真实的V2X信道模型。作者开发了基于Veins的无线仿真部分，该部分建立在OMNeT++和SUMO的基础上。除了信号传输的基本简单路径损耗外，还加载了用于建筑的SimpleObstructureShadowing和VehicleObstructureshadowing等现有模型，以了解障碍物遮挡对信号传播的影响。

连接无线仿真部分和其他两个组件的关键是SUMO（城市机动性仿真），它提供TraCI（交通控制接口）与CARLA和OMNeT++等其他仿真平台交互，实现基于移动性的过程分析目的的联合仿真。作者主要开发将CARLA连接到无线仿真和将无线仿真连接到AutoCastSim的模块，提取和转换流量移动性数据和无线QoS特性数据，以适应不同仿真部分的要求。有了作者独特的综合仿真框架，激光雷达传感器数据融合阶段可能会受到与物理交通场景一致的无线条件的影响，而不是由不敬的道路测试测量的一些平均无线QoS特性的影响。车辆无线网络仿真的设置如下表1所示。所有列出的参数都可以在作者的仿真中进行修改，以仿真所需的部署条件。此外，如有必要，作者还启用窗口大小为2000毫秒的中继重新选择，以确定更新的中继节点。

结果与分析

作者使用自动驾驶车辆（即设计场景中的自车）的碰撞率作为端到端性能指标，packet error rate（即1-数据包接收率）作为现阶段的主要QoS特征。在传感器融合之前，通过调整点编码器的下采样和Transformer块的组合来测试不同级别的压缩率，与较高压缩率（即32倍）相对应的碰撞率增加到不可接受的值，即使在完美的无线连接下，如下图9所示。

根据原始激光雷达数据生成的较小特征图可能不包含足够的语义信息来重建无障碍感知，这导致了大约40%碰撞率下的灾难性碰撞结果。同时，即使是用较小尺寸的数据（例如，32/16倍的压缩率为3Mbps/6Mbps）实现的可接受性能实际上也不会对NLOS情况产生影响，因为由于高传播损耗，无论是否进行重传，都无法传送数据。在作者设计的场景中，从自车到传感器共享节点的直接链路被阻塞总线严重遮挡，导致PER为60.78%。因此，中继是确保传感器融合在这种交通场景下发挥作用的唯一途径，抵消了无线传输的NLOS问题，以解决感知的NLOS问题。

3GPP在研究D2D中继方面有着悠久的历史，Rel-18中的3GPP根据中继发现请求消息的测量信号强度，对D2D中继的选择做出了最新的结论。利用两个D2D直接连接（即端UE到中继UE）的信号强度测量来确定用于单跳UE到UE中继选择过程的最合适的中继节点。除了3GPP标准对齐的中继选择机制之外，作者还选择随机中继选择和无中继条件作为基线，以与作者提出的基于移动性的中继选择方法进行比较。基于下图7中所示的不同背景流量密度下的无线性能和下图8中CDF图上的数据包接收率分布，作者基于移动性的方法在数据包接收率方面优于其他两种中继选择方法至少提高了25%，并且在CDF图中具有更集中的数据分布。

如前面图9所示，作者基于移动性的中继选择方法是唯一一种保证基于基本功能协同感知的自动驾驶性能的方法，利用传感器融合对自动驾驶的好处，12.02%的数据包错误率将碰撞率降至1%以下。车辆的速度因素确实会影响实际碰撞结果，但明确的临界点保持不变。一个反直觉的统计是基于信号强度的中继方法的数据包接收率比随机中继节点选择的数据包接收速率差，所选择的中继节点在接近NLOS区域时非常有可能同时靠近发送节点和接收节点。这导致将受到即将到来的NLOS区域影响的即时最佳信号强度值。作者的方法通过最小化中继节点的预测轨迹和NLOS区域的潜在交叉点以及通过考虑移动性相似因子最小化NLOS信道形成的持续时间来克服这个问题。反映这一点，中继节点重新选择的次数从两种基准标记方法的3.34次和3.65次下降到作者方法的2.75次，如下表II所示。

7结论

在现实世界中，许多事故是由人类驾驶员感知的盲区造成的，作者也解决了机器感知系统和无线通信的典型NLOS情况。通过仿真，证明了作者在传感器融合匹配和通信中继节点选择方面的方法在稳定性和可用性方面都优于现有方法，在当前标准的V2X消息中具有较高的部署能力。在里面在未来的工作中，将进一步探索传感器融合方法和基于人工智能的协同感知策略。一方面，传感器融合在传感器类型和融合算法方面每天都在发展，语义通信这一新兴概念似乎非常适合传感器融合数据传输的目的。另一方面，本文提出的矩阵处理方法和各种环境特征可能为构建下一阶段性能升级的神经网络奠定坚实的基础。

8参考

[1]. NLOS Dies Twice: Challenges and Solutions of V2X for Cooperative Perception

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）