Machine-Learning-Enabled Cooperative Perception for Connected Autonomous Vehicles 论文阅读

论文链接

Machine-Learning-Enabled Cooperative Perception for Connected Autonomous Vehicles: Challenges and Opportunities

---

0. Abstract

• 阐明了为联网自动驾驶车辆设计支持机器学习的协作感知系统的可能性
• 关注如何减少通信和数据处理延迟
• 本文关注了机器学习，特征图量化，毫米波通信以及车辆边缘计算的最新成果

---

1. Intro

发展协同感知（CP）的原因如下：1）最大化自动驾驶车辆的视线与视野；2）减少局部物体检测的不确定性并提高感知准确性

1.1 问题陈述

当前对于协同感知而言，目标检测是最具挑战性的任务之一。目前自动驾驶车辆行人检测的最佳解决方案仅达到 78.35%–83.06% 的精度

传统的协作感知是在较高水平上实现的，即车辆结合其他人共享的物体检测结果来追求提高自己的物体检测精度。虽然实现高级协作感知很容易，但这种方法存在一个根本缺陷：它无法避免如果没有汽车感知到足够的信息来检测关键物体会发生什么的问题。

对于现有的工作而言，融合原始数据或将得到更好的效果。但对于该方法而言，需要很大的通信量作为支撑，故很难实现。同时在融合来自于其它设备的数据是，对于数据进行相应的处理时也是会造成延迟。

目前通过 CP 提高感知精度以及减少通信代价和数据处理延迟的工作很少

1.2 建议方案

关键概念：自动驾驶车辆上由机器学习方法生成的特征图可用于实现协同感知。
利用 CNN 生成特征图。 特征图的尺寸虽小，但 CNN 可以生成大量的特征图，故以原始尺寸传输特征图并非不可能，但具有挑战性。因此了解如何在车载网络中有效传输特征图很重要。本文建议利用高速毫米波通信实现特征图的传输。

需要考虑一下问题：

• 如何量化不同特征图以及如何压缩和选择特征图
• 探索毫米波传输特征图的可能性
• 如何设计更高效的车辆边缘检测系统

---

2. 机器学习支持的协同感知

特征图可被视为原始传感数据的代替。事实证明，可以组合两辆车上生成的特征图来实现更准确的协作目标检测

2.1 基于特征图的协同感知

特征图被认为是其前一个卷积层的输出和后一个卷积层的输入。当原始数据被 CNN 处理时，无关的信息会被网络过滤掉，只留下物体检测所必需的信息。与原始数据相比，传输特征图的主要优点是可以显着减少传输的数据量。

从 3D 点云中提取的特征图还包含位置信息，因此可以组合来自不同自动驾驶车辆的特征图

2.2 特征图对齐

实现基于特征图的协作感知的第一个问题是如何同步从不同车辆接收到的特征图。

通过评估接收到的特征之间的相似性，可以在空间域中对齐它们。然而，如何在时域同步特征图还缺乏研究。此外，特征图可能会相互重叠，因此如何融合重叠的特征图成为一个重要问题

一种可能的解决方案是根据不同的特征图可以提供多少新信息，为它们分配不同的权重。

2.3 特征图压缩

虽然特征图的尺寸比原始数据小，但生成的特征图数量相对较多。因此，探索如何有效地压缩特征图以减少网络中传输的数据量至关重要。已经有工作证实特征图往往是稀疏的，这意味着很有可能压缩特征图以节省网络带宽。

2.4 特征图流

尽管视频压缩在无线网络领域得到了深入研究，但有损压缩对协作目标检测的影响尚不清楚。由于压缩和解压缩而导致的特征图中数据的细微变化可能会也可能不会影响最终的目标检测结果。因此，研究的挑战在于如何保留与物体相关的特征，同时抑制与背景相关的特征。

---

3. 协同感知中的特征图选择

不同的特征图对目标检测性能有不同的影响；因此，必须量化特征图的重要性，然后仅识别和传输车辆中最突出的特征图。因此，设计一个基于特征图选择的协作感知框架至关重要。

3.1 选择重要的特征图

现有的特征图选择解决方案通常寻求结构剪枝，直接删除结构化组件（例如内核、滤波器甚至卷积层），以同时降低计算复杂度和内存开销。根据特征图的重要性对特征图进行排名非常重要。仅选择最重要的特征图并在车辆之间共享。

为了满足 CAV 中协作感知所提出的严格时间要求，融合最后一层特征图会更有效。如果在目标检测任务中考虑较少的捕获/包含最突出信息的重要特征图，那么它是有效的。

3.2 量化特征图的重要性

特征图的重要性可以从两个角度来分析：产生特征图的卷积核和特征图所包含的信息的价值。

了解内核是量化特征图重要性的第一步；明确测量特征图中包含的信息仍然至关重要。由于特征图是原始数据最直接的反映，因此在特征图选择时必须考虑到特征图。熵在信息论中起着核心作用，因为它与要测量的信息量成正比。因此，可以利用熵来衡量特征图中包含的信息。

3.3 减少数据传输

根据所提出的基于特征图的协作感知的设计，我们对通过特征图压缩和通道选择可以实现多少数据减少进行了初步研究。

上图展示了使用不同数据处理方案的数据量比较。

---

4. 用于协同感知的毫米波通信

由于毫米波通信工作在10 GHz至300 GHz之间，具有非常大的带宽，因此它可以为带宽密集型应用实现每秒数千兆位的无线通信。另一方面，自动驾驶车辆可以协同实现对周围环境的准确感知，这为设计高效的毫米波通信提供有用的信息（例如接收器的天线位置和通信环境）。

4.1 毫米波车载网络

处理网络中的多个V2V对以进一步提高毫米波通信的网络吞吐量和频谱效率是一个具有挑战性的问题。当然，当考虑到自动驾驶汽车的高机动性时更具挑战性。

由于车辆在预定义的道路上行驶（可从数字地图中获取）并且路边基础设施是固定的，因此它为设计基于毫米波的高效 V2V 和 V2I 通信提供了机会。特别是通过根据车辆的瞬时速度和当前交通状况预测车辆的未来位置，可以设计连续波束形成策略来应对车辆的移动性。

可能遇到的一个研究问题是，如何在了解毫米波信道特性的基础上，设计一种有效且高效的毫米波车载通信系统，用于 CAV 上的协作感知。

4.2 传感器辅助毫米波通信

为了实现自动驾驶功能，自动驾驶汽车通常配备各种类型的传感器。这些传感器向处理单元提供实时传感数据，以保证收集到足够的信息，使自动驾驶车辆能够成功完成其感知任务。

收集的传感器数据中包含的丰富语义信息对于建立车辆网络起着至关重要的作用。毫米波通信中的一个具有挑战性的问题是波束成形，它本质上是塑造定向天线的辐射方向图，以确保毫米波信号更强大、更有针对性。

快速波束成形对于车辆之间的毫米波通信至关重要，因为自动驾驶车辆的协作感知无法容忍较大的网络延迟。

---

5. 车辆边缘系统中的协作感知

除了 V2V 通信之外，讨论 V2I 通信如何影响联网和自动驾驶车辆的协作感知性能也很重要。

5.1 车载边缘计算

我们选择三层CAV架构，如图所示，包含感知层、网络层和应用层。感知层由自动（和/或传统）车辆和路边基础设施组成，配备各种类型的传感器用于感知周围环境。也称为边缘计算。边缘服务器通常部署在路边基础设施（例如交通柜）和基站（例如由电信公司运营），或由第三方边缘服务提供商运营。边缘服务器计算和存储资源有限；因此，需要云服务器来支持其他关键应用。

5.2 计算卸载

与在单个车辆上实施相比，诸如协作感知之类的多项计算任务可以在边缘更好地实施。让每辆车单独执行相同的数据融合和处理任务以实现协作感知的成本将非常昂贵。因此，设计优化的数据卸载方案以促进车辆边缘系统中的数据传输和数据处理至关重要。

5.3 资源任务调度

• 边缘计算面临的一个挑战是车辆的高移动性
• 此外，边缘服务器通常包含多个异构计算单元，每个计算单元在不同类型的计算任务上的性能显着不同
• 另一个研究挑战是边缘服务器必须相互协调数据收集和处理任务

---

6. 总结

作为 CNN 模型生成的重要的处理数据类型，特征图包含足够的信息，可供自动驾驶车辆准确地检测和分类对象。为了实现协作感知，车辆之间共享特征地图数据比共享原始传感器数据更具优势，因为前者提供了更好的隐私保护，并且在传输数据量上具有灵活性。然而，为了在 CAV 上设计基于特征图的协作感知系统，需要克服一些技术挑战，以确保最终系统的可靠性和实用性。