Collaborative Perception for Autonomous Driving: Current Status and Future Trend 论文阅读

论文连接

Collaborative Perception for Autonomous Driving: Current Status and Future Trend

---

0. Abstract

• 个体车辆能力有限，导致感知性能提升遇到瓶颈。为了突破个体感知的限制，协作感知被提出，使车辆能够共享信息来感知超出视线和视野的环境
• 对有前景的协作感知技术的相关工作进行了回顾，包括介绍基本概念、概括协作模式并总结协作感知的关键要素和应用
• 最后，我们讨论了该研究领域的开放挑战和问题，并给出了一些潜在的进一步方向

---

1. 简介与动机

自动驾驶的关键模块之一是感知，其目标是感知周围环境并提取与导航相关的信息，包括物体检测、跟踪、语义分割等。随着大规模训练数据的增加和深度学习算法的发展，感知性能得到了显着提升。

制约自动驾驶感知性能的一个主要因素是每辆车基于自身本地感知传感器感知周围环境，即个体感知。体感知能力有限，视野有限、模态缺失、传感器数据稀疏等负面因素会导致感知能力下降。解决这些问题的方法是，同一区域的车辆之间共享集体感知消息（CPM）来协作感知环境，这称为协同感知。

上图展现的两个问题：(a) 遮挡问题：绿色车辆根据自身观察看不到圆圈内的车辆。 (b) 远距离问题：随着与自我车辆的距离增加，点云变得稀疏。

本文的贡献总结如下：

• 我们归纳了现有的协作感知协作模式和各自的方法分析。
• 我们总结了自动驾驶协同感知的关键要素，并介绍了每个要素各自的研究。
• 我们讨论自动驾驶协作感知领域的开放挑战和问题。

---

2. 协同模式：When & What

感知的流程：车辆采集的原始数据首先输入编码器，然后对编码器输出的中间特征进行解码，输出最终的感知结果。

2.1 早期协同

• 早期协作在输入空间中进行协作，在车辆和基础设施之间共享原始传感数据
• 可以从根本上解决单智能体感知中出现的遮挡和远距离问题
• 共享原始传感数据需要大量的通信，并且很容易因数据负载过大而堵塞通信网络，这在大多数情况下阻碍了其实际使用

2.2 后期协同

• 后期协同在输出空间进行协作，促进各个个体输出的感知结果融合，实现细化
• 后期协同是带宽经济的
• 对定位误差非常敏感，并且由于不完整的局部观察而遭受高估计误差和噪声

2.3 中期协同

• 中期协同是在中间特征空间进行协同，在中间特征进行融合之后再进行特征解码
• 与早期协同相比更加带宽经济，与后期协同相比提升了感知能力
• 在算法的设计上具有挑战性，面临两个问题：1）如何选择最有用的特征传输；2）如何最大限度融合特征为提高感知力

2.4 混合协同

综合上述两种或两种以上方法的协同模式进行优化。如在能见度高的时候进行后期协同，在能见度低的时候进行早期协同；或利用早期协同来指导中间协同（教师-学生模式）。

---

3. 协同感知中的关键因素

3.1 协同图

图因其对非欧几里得数据结构建模的能力和良好的可解释性而成为建模协作感知过程的强大工具。参与协作感知的车辆组成一个完整的协作图，其中每辆车都是一个节点，两辆车之间的协作关系是这两个节点之间的边。

3.2 姿态对齐

协同感知需要不同姿态和不同时间车辆的基础设施的数据。
常见的有：
1）时间与空间对齐，坐标系统的合作与视角转换；
2）利用 EKF 补偿位置和相对距离测量延迟；
3）通过学习空间感知特征地图融合实现协同；
4）利用端到端的神经推理层，学习估计姿态误差；
5）利用神经层学习数据对应关系，不需其它姿态信息

3.3 信息融合

信息融合是多智能体系中的核心部分。以有效的方式融合来自其它个体信息中最具有信息的部分。例如：
1）CommNet，采用平均操作来进行信息融合
2）VAIN，使用注意力机制
3）DiscoNet,使用掩码来反映注意力

3.4 通过强化学习进行资源分配

有限的带宽资源要求充分利用通信资源。通信条件的快速变化使得资源分配问题的优化更加复杂。可使用的方法如下：
1）多智能体强化学习 MARL；
2）利用深度强化学习选择需传输数据以减轻网络负载；
3）频谱共享；
4）联合强化学习

---

4. 协同感知的应用

自动驾驶和群体智能的两个任务：

• 基于点云的 3D 对象检测
• 3D 场景的语义分割

4.1 协同 3D 物体检测

基于 LiDAR 点云的三维检测是协同感知研究的热点问题。

• LiDAR 点云相较于图像和视频具有更多空间维度
• LiDAR 点云在一定程度上可以保护私人信息
• 点云数据是适合融合的数据类型，其在不同姿态对齐时损失不像素小
• 三维目标检测是自动驾驶感知的一项重要任务

4.2 三维场景的协同语义分割

3D 场景的协同语义分割目标是为给定观察的每个个体产生语义分割的有效性

---

5. 开放挑战与问题

5.1 通讯的鲁棒性

有效的协同依赖于可靠通信。现存在的问题在于以下几点：
1）每辆车的可用通信带宽有限；
2）通信延迟不可避免；
3）通信可能被中断；
4）V2X 通信受到攻击且不能提供可靠的服务

5.2 异构与跨模态

除了 LiDAR 点云感知以外，还有更多类型的数据可用于感知。同时对于不同级别的自动驾驶车辆，会提供不同质量的信息。因此如何在异构网络中进行协同感知是一种挑战。

5.3 大规模数据集

通过增加大规模数据集和开发深度学习方法从而提升协同感知的感知能力。但目前的数据集存在规模小或非公开的问题。公共大规模数据集缺乏且大多数数据集是基于模拟器的。

---

6. 总结

本文涵盖了自动驾驶的主要技术细节和应用。引入了协作感知的概念，并分析了不同协作模式的优缺点。然后介绍了协作感知技术的关键要素和两个重要的应用任务。最后讨论了该研究领域的开放挑战和问题，并给出了协作感知的一些潜在的进一步方向。