协同感知综述：从异质单体到分层合作

论文标题：A Survey and Framework of Cooperative Perception: From Heterogeneous Singleton to
Hierarchical Cooperation
发表期刊/会议：

1 引言

仍然缺少对CP和处理混合交通中的异质性和可扩展性的一般CP框架的全面概述。

1. 本文review了基于CP的目标感知（目标检测和跟踪）方法，基于 1）节点结构，2）传感器模式，以及3）融合方案 建立一个协同感知的整体格局。
2. 提出了一个分层的CP框架，以统一上述不同角度的不同场景，并为未来的研究提供灵感。

2 架构和分类

2.1 架构

用于实现协同驾驶自动化（CDA）的协同感知系统的系统结构：

在CP过程中可以确定四个典型阶段，
1）信息收集：安装在车辆或路边基础设施上的高分辨率传感器感知环境和收集交通信息，并通过通信集线器将收集到的数据传输到edge服务器进行进一步处理。
2）边缘处理：考虑到使用有限的带宽来传输大量的原始数据（如点云数据）可能会造成不可接受的时间延迟，从传感器收集的信息需要在安装在车辆或基础设施上的边缘服务器上进行处理。
在单个感知节点（PN）上处理原始感应数据有六个主要步骤:
a. 预处理：对原始数据进行处理，为感知模块提供与特定传感器有关的现成格式，如坐标转换、地理围栏geo-fencing和降噪。
b. 特征提取：通过应用深度神经网络（DNNs）或传统的统计方法，为后续的感知任务提取特征。
c. 多传感器融合：如果有一个以上的传感器用于单一的PN，可以应用多传感器融合算法。
d. 检测和跟踪：生成目标检测和跟踪结果（某些道路使用者的位置、姿势和识别，如具有唯一ID和分类标签的旋转边界框）。
e. 原始数据记录：记录带有时间戳的原始传感数据，用于后期分析。
f. 结果记录：记录带有时间戳的语义感知数据，用于后期分析。
异质PNs将产生三种类型的感知数据：
-原始数据，包含来自传感器的原始信息，例如，来自相机的RGB图像，来自LiDAR的点云数据（PCD），等等。
-特征数据，包含通过神经网络或统计方法提取的隐藏特征，用于在高维空间中表示原始数据。
-结果数据，包含语义感知信息，如二维/三维位置、大小、旋转等。
3）云计算：云计算充当多个PN的融合中心。来自异质PN的信息将通过不同的通信方式传输到云端，采用不同的融合方案进行数据融合，这取决于PN和云端之间要共享的数据类型。例如，早期融合、深度融合和后期融合分别基于原始数据、特征数据和结果数据。

由于无线通信的带宽有限，结果数据被最广泛地用于CP或其他CDA任务。少数具有高速通信能力的系统，可以进行大批量低延迟的数据传输，将原始数据传输到云端进行处理。 就多节点感知系统而言，即同时从不同地点感知环境，需要考虑时间对齐（有必要进行延迟补偿）和物体关联，以实现时空信息同步。最近，深度融合（也被称为中间融合）由于其在CP性能上的优越性而吸引了越来越多的关。

4）信息分发：根据连接状态，感知信息（连同咨询或执行信号）可以通过两种主要方式分配给道路使用者。
a. 没有无线连接的传统道路用户：信息可以被传递到路边的终端设备，如动态信息标志（DMS）或通过交通管理中心（TMC）的交通灯信号头显示。
b. 通过无线连接的道路使用者：可以访问定制的信息，例如周围的物体和即将到来的信号灯的信号相位和时间（SPaT），以及各种视觉/非视觉的ADAS指标，以实现各种互联驾驶自动化应用，如互联生态驾驶。

不同类型的PN在CP系统中发挥不同的作用，
1）车辆PN（V-PN）：边缘计算主要为自己服务，即感知环境以支持下游的驾驶任务，如决策或控制。
2）路边设施PN（I-PN）：主要目的是通过先进的测距传感（如相机、LiDAR）和通信来提高固定位置的情况感知。

2.2 分类

根据CP的系统结构，确定了CP系统的三个关键方面：1）节点多重性，2）传感器模式，3）融合方案

节点的多重性和传感器的模式而言，可以确定四种类型的CP系统：

• Single-Node Single-Mode CP（SS-CP）
  通过路边设施到一切（I2X）或车辆到一切（V2X）的通信，共享单模式传感器的感知数据，在异质PN之间进行合作。
• Multi-Node Single-Mode CP（MS-CP）
  通过I2X和/或V2X通信，共享来自单模式多传感器感知的感知数据，在异质PN之间进行合作。
• Single-Node Multi-Mode CP（SM-CP）
  通过I2X或V2X通信，共享来自多模式传感器感知的感知数据，在异质PN之间进行合作。
• Multi-Node Multi-Mode CP（MM-CP）
  通过I2X和/或V2X通信，共享来自多模式传感器感知的感知数据，在异质PN之间进行合作。

对于这四种CP类型中的每一种，都可以根据感知数据的类型应用三种融合方案。

3 节点结构

节点定义为能够进行感知和通信的感知节点（PN）。CP系统可以分为单节点和多节点CP系统。车辆节点（V-PN）和基础设施节点（IPN）被视为CP系统中的异质节点。

不同节点结构在协同感知方面有优势和劣势，V-PN更具有自我效率(即从自车的角度提高感知能力，而I-PN更适合于可扩展的合作。同质PN之间的CP，如V2V或I2I，主要可以扩展感知范围，而异质PN之间的CP，如V2X，可以通过补充不同的传感器配置实现更好的FOV。

3.1 基于I-PN的CP（V2I）

文献中基于路边设施的目标检测和跟踪方法

1. Camera-based I-PN（6篇）
2. LiDAR-based I-PN（11篇）

3.2 基于V-PN的CP（V2V）

车间协同感知

3.3 基于异构PN的CP（V2X）

车辆和路边设施之间的合作。

4 SENSORS MODALITY

对于CP系统来说，传感器是最基本的模块，因为它们在原始数据收集中的作用。因此，本节从不同角度概述了交通系统中使用的典型的传感器类型。

4.1 配置和性能

对于目前自动驾驶系统(ADS)上配备的传感器，最流行的是摄像头、激光雷达和雷达。
车载雷达：主要实现ADAS的功能，如自适应巡航控制（ACC）、避免碰撞等。
车载摄像头：不同的ADS可能采取不同的配置，包括单摄像头ADS和多摄像头ADS。
车载LiDAR传感器：由于其全景视角的能力，主要配置在车辆的顶部。
路边传感器：典型的安装位置包括信号臂和路灯柱，与车载传感器相比路边传感器位置更高，以尽量减少由于密集的交通造成的遮挡效应。具体的安装位置可以根据不同的路边传感器而有所不同。

在ADS、交通监控和其他交通系统中被广泛利用的传感器对比，这些传感器在不同的使用情况下都有自己的能力和优势：

-相机：高分辨率；不太适合三维位置和速度测量，特别是在密集的交通中。
-LiDAR：高精度的三维感知，对环境变化有弹性；但是，其价格相对较高，数据的稀缺性。
-雷达：测量速度，解锁应用，如停车条和两难区域检测。对区分物体不是很好。
-热像仪：获取热信息，提供对照明变化的弹性。
-鱼眼相机：360度全视场（FOV）的检测；需要一个高精度的校准矩阵来考虑失真问题。
-环路：测量交通量和速度，安装和维护成本高。

就应用的传感器数量而言，目标感知的系统操作pipeline可以分为两大类，即基于单传感器和基于多传感器：

4.2 单传感器感知

基于单传感器的目标感知系统：
1）从传感器收集的数据首先被预处理，以减少噪音，过滤不相关的数据，并为下游模块正确地重新格式化。
2）应用特征提取，通过数学模型（如果基于传统方法）计算预定义的特征，或通过神经网络（如果基于深度学习）生成隐藏的特征
3）感知模块生成目标检测和跟踪结果，送入后处理模块，以进一步清理感知输出（例如，过滤重叠的边界框和分数低于阈值的预测）。

本节从两个角度–传统方法和深度学习方法–分别针对摄像头和LiDAR，按时间顺序简要介绍单传感器感知的主要现存工作。

4.3 多传感器感知

由于不同传感器的互补性，与基于单传感器的感知系统相比，基于多传感器的感知系统有可能通过传感器融合达到更好的目标检测和跟踪性能。
本节讨论了三种流行的基于高分辨率传感器的多传感器感知方案，即相机+相机，相机+激光雷达，以及激光雷达+激光雷达。
摄像头擅长捕捉视觉信息，LiDAR在收集三维信息方面非常出色。在一个互补的计划中同时利用这些传感器的优势被认为是提高监控系统感知精度的一个有希望的解决方案。

5 融合方案

从传感器融合的阶段来看，多传感器感知系统可以分为三类：
1）早期融合–在预处理阶段融合原始数据；
2）深度融合–在特征提取阶段融合特征；
3）晚期融合–在后处理阶段融合感知结果。
不同的融合方案在不同的角度上都有优势和劣势。早期融合和深度融合有更高的准确性，但需要更多的计算能力和复杂的模型设计。相反，晚期融合可以实现更好的实时性，但可能会牺牲精度。

这取决于不同交通场景下的具体需求来决定融合方案的最佳部署。

本节旨在简要介绍在相关的CP研究中是如何考虑和应用融合方案的。同时，将更多地关注在前面章节中没有介绍的工作。

评估结果证明：

• 在不涉及误差的情况下，早期融合和深度融合可以达到类似的性能，比后期融合要好；
• 随着误差的增加，早期融合和后期融合的性能都急剧下降，但所有深度融合方法的性能下降比早期融合和后期融合要明显得多。

此外，基于特征的融合方法通常只有一个检测器用于生成物体感知结果，因此不需要像晚期融合所要求的那样合并多个提议。

早期融合只需要校准，将多源数据对齐到一个统一的坐标系中，但需要很大的通信带宽来传输数据。晚期融合主要集中在如何合并由多个感知管道产生的建议，这很简单，但准确性有限。深度融合由于其低通信要求和高精确度的能力，正迅速成为CP的一个可改造的解决方案。

6 分层协同感知框架

现实世界中CP系统的三个主要问题。

• 异质性：CP系统应该利用智能车辆和智能路边设施的优势来提高感知的全面性。
• 可扩展性：CP系统需要能够扩展到不同规模的合作 levels, 如 intersection level, corridor level, and traffic network level。
• 动态性：CP系统需要能够与车辆感知节点进行动态合作，即I-PN应该能够与动态变化的V-PN的数量进行连续合作。

为了解决上述问题，本文提出了一个统一的CP框架，称为分层合作感知（HCP）框架：

HCP旨在将各种场景下的不同CP任务同化为一个通用框架，主要关注交叉口场景，包括三个层次：intersection level, corridor level, and network level，将分别从核心节点、通信类型和感知输出等几个方面进行介绍。
1）intersection-level CP：旨在感知交叉口周围的object-level交通状况。V-PN和I-PN被设计为这个层次的核心感知节点。对于配备了强大的车载处理器的车辆，如CAVs，可以通过V2V通信共享特征并在车上进行处理。I-PN的感知结果可以作为辅助数据，通过后期融合增强CAV的感知结果。车辆不一定需要配备强大的车载处理器来处理整个感知管道。可以部署轻量级的计算单元，只提取特征。来自多个车辆的深度特征可以被传送到I-PN进行深度融合以产生感知结果。然后I-PN将感知结果广播给其自身通信范围内的车辆。
2） Corridor-Level CP：目的是在多个智能路边设施的连接基础上扩大感知范围。其核心是基础设施节点，即I-PN。I2I通信（通过电缆或光纤）与无线通信相比，具有更高的容量。在高速通信的支持下，基于I2I的CP能够应用所有基于特定场景的融合方案。原始数据共享可以是基于I2I的CP的一个典型风格。此外，可以通过与I-PNs共享特征级数据，CP系统可以生成具有高感知精度的object-level感知信息，以进一步帮助道路使用者或改善交通管理。
3）Network-Level CP：旨在感知整个交通网络的object-level交通状况。云服务器是连接所有分布在I-PN范围之外的交叉口和CAV的核心节点。Network-Level CP的成本效益方式是后期融合–从IPN和CAV中检索感知信息，然后合并这些结果进行分发。 此外，特征级数据也可以传输到云服务器，并设计一个统一的检测器来生成感知结果。

7 数据集和仿真器

7.1 数据集

7.1 仿真器

8 讨论

CDA应用中协同感知的现状、开放性问题和未来趋势的见解。

8.1 现状和开放性挑战

1）异质性的感知单体：交通中最常见的感知agent是智能车辆和智能路边设施，它们被视为异质性的感知单体。由于路边的传感器有更灵活的位置和姿势来获取数据，协同感知的一个典型方式是将信息从基础设施一侧传输给道路使用者。由于感知单体的异质性，最近只有少数研究考虑了车辆节点和路边设施节点之间的合作。
2）传感器系统：对于协同感知，摄像头和LiDAR被广泛用于获取高保真传感数据。 然而，在大多数研究中，摄像头和激光雷达传感器是分开工作的，即，一个协同感知系统只配备一种传感器。摄像头和LiDAR是互补的，为协同感知开发多模态传感器是提高感知结果整体保真度的重要途径。
另一方面，尽管路边设施在协同感知中起着关键作用，但目前基于路边传感器的感知方法在大多数情况下是直接应用一般的感知方法，即基于车载传感器的模型。一般目标感知和协同感知之间存在明显的差距。
由于路边传感器的传感方法与车载感知不同，主要挑战之一是路边数据采集和注释，以促进基于路边设施的感知系统的深度学习研究。
3）融合策略的通用性：不同的融合方案有其特定的优势和劣势。

8.2 未来的趋势

1. 异质合作
   车辆与路边设施的合作是解决许多现有交通相关问题的一个有希望的方案。车辆-路边设施协同感知可以利用车辆（作为具有轻量级处理能力的移动感知节点）和基础设施（作为固定节点但具有强大的处理/存储单元）的能力来实现更好的性能。
2. 多模式的合作
   基于多传感器的感知系统有可能通过利用互补的传感器数据与适当的融合技术来提高感知性能。在照相机和LiDAR传感器的范围内，目前多模态传感器融合的发展主要是针对一个单一agent上配备的多个传感器的一般目标感知。 针对多个感知节点的特定多模态传感器融合仍是一个空白领域，然而，这也是提高整个系统感知精度的重要途径。
3. 可扩展的合作
   一些协同感知方法主要是为了在周围节点的协助下增强自车的感知能力，要求周围节点根据自车的元数据来调整它们分享的数据，当涉及众多车辆，这可能会导致可扩展性问题。基于路边设施的感知系统在传感器设备方面更加灵活，具有高计算边缘处理器、大数据存储和宽通信带宽。通过只在车辆上部署轻量级的车载计算模块，如特征图提取，实现基于局部深度融合的协同感知，或从基于路边设施的高性能节点检索感知结果，以实现更广泛的感知，这将变得更加经济有效。

考虑到现实世界发展中合作感知的问题，如可扩展性、动态环境和异质资源（如计算能力、存储空间和通信带宽），第六节中介绍的包括车辆、路边设施和cloud的分层结构可以成为一个有希望的解决方案。

9 总结

提出了架构和分类法，以说明协同感知系统的基本组成部分和核心内容。
从节点结构、传感器模式和融合方案三个方面详细介绍了协同感知方法，并进行了文献review。
提出的分层合作感知框架分别从交叉口、走廊和网络等不同层面进行分析。
简要回顾了用于实现合作感知的现有数据集和模拟器，以确定其差距。
讨论了当前的问题和未来的趋势。