自动驾驶&车辆协同感知与数据融合

一、概述

传统的智能交通系统采用视频、雷达等检测器检测道路交通流量、车速、排队长度等交通参数，并且结合GNSS浮动定位系统检测道路交通状态。近年来又有互联网公司结合移动互联网手机定位大数据分析交通状态，进而建立了所谓“交通大脑”，对区域交通信号灯配时方案进行整体优化，实现了不错的效果。

近来被广泛关注的自动驾驶技术利用车载激光雷达、毫米波雷达、超声波雷达、视频摄像机等传感器感知汽车周边环境，通过车载边缘计算实现对汽车周边的环境进行识别，进而实现对车辆的自动驾驶，也取得了很大进展。

但道路交通是异常复杂的巨系统，道路交通环境瞬息万变。仅仅凭传统的交通感知手段和自动驾驶汽车安装的有限传感器是无法满足完全、快速掌握动态交通环境的需求的。而且由于车载传感器要求体积小，并且价格昂贵，无法普及的广大出行者的汽车上。车路协同技术应运而生。

二、车路协同应用

根据中国汽车工程学会标准《合作式智能运输系统 车用通信系统应用层及应用数据交互标准》（T/CSAE 53-2017），车路协同一期基础功能涵盖安全、效率和信息服务三大类17个应用。

表 1 一期应用列表

序号	类别	通讯方式	应用名称
1	安全	V2V	前向碰撞预警
2		V2VN2I	交叉路口碰撞预警
3		V2VN2I	左转辅助
4		V2V	盲区预警／变道辅助
5		V2V	逆向超车预警
6		V2V-Event	紧急制动预警
7		V2V-Event	异常车辆提醒
8		V2V-Event	车辆失控预警
9		V2I	道路危险状况提示
10		V2I	限速预警
11		V2I	阁红灯预警
12		V2P/V2I	弱势交通参与者碰撞预警
13	效率	V2I	绿波车速引导
14		V2I	车内标牌
15		V2I	前方拥堵提醒
16		V2V	紧急车辆提醒
17	信息服务	V2I	汽车近场支付

三、车路协同感知体系

1、车路协同感知体系

车路协同感知在结合现有的智能交通感知设备的基础上，增加了更加精密的路侧感知设备、车载感知设备和5G移动大数据。路侧感知设备包括激光雷达、毫米波雷达和带目标识别功能的视频摄像机；车载感知则是包括自动驾驶车辆能够感知到的数据，需要通过路侧单元RSU实时上传到边缘计算节点。

 

图 1车路协同感知体系

2、交通感知传感器

激光雷达

激光雷达的测距精度非常高，基本上可以达到正负一两厘米，甚至到了毫米级，分辨率也非常高。机械激光雷达可以360度旋转，同时角分辨率也比别的雷达高。但是目前的机械旋转激光雷达的成本比较高，而且容易受到阳光雨雾和互干扰的影响。它跟毫米波雷达一样是属于主动传感器。目前的机械激光雷达也会受到工作温度以及工作环境震动的影响，它的工作温度一般是在零下10°到零上60°左右。

 

图 2 激光雷达

激光雷达目前的成本比较高，美国Velodyne的64线激光雷达在10万美金左右，即使是16线雷达的售价也在8000美金左右。Flash激光雷达以及MEMS激光雷达，即向使用各种镜片或者透镜来形成非旋转式雷达的方向演进和发展，它的成本还有功耗都会有很大的下降。

毫米波雷达

毫米波雷达是利用波长1~10mm，频率30GHz~300GHz之间的电磁波，通过测量回波的时间差算出距离，具备全天时全天候以及探测距离远的优势。目前市场上主流的车载毫米波雷达频段为24GHz（用于短中距离雷达，15~30m）和77GHz（用于长距离雷达，100~200m）。相比于24GHz产品，77GHz产品在性能和体积上都更具优势，其距离分辨率更高，体积也小了1/3。

 图 3 毫米波雷达工作原理

最重要的是，毫米波价格低廉，比起动辄几千乃至上万美元的激光雷达，一两百美元就可以被收入囊中的毫米波雷达算得上是业界良心。不过，凡事无绝对，在探测精度上，毫米波要略逊一筹。

视频摄像机

视频摄像机是在智能交通系统中应用最为普遍的感知设备。随着自动驾驶技术的不断发展，视频摄像机也被广泛运用在自动驾驶车辆上。伴随视觉处理技术的进步，可以使视频处理出的有效信息倍增，从而更好地辨别道路上的标识、行人等信息。

传感器感知能力比较

总体而言激光雷达精度高但价格不菲。毫米波雷达价格便宜但精度欠佳。视频摄像机价格适中而且随着视频解析算法的不断提高，视频摄像机是车路协同感知体系中不可或缺的主要感知手段。

 

图 4 激光雷达/毫米波雷达/摄像头感知能力比较

激光雷达、毫米波雷达和摄像机的详细优劣比较见下表。

表 2 激光雷达/毫米波雷达/摄像机比较表

传感器	优势	劣势	最远距离
摄像机	可以分辨出障碍物的大小和距离，而且能识别行人、交通标识牌	受到视野的影响，受恶劣天气影响，逆光和光影复杂情况效果差	6-100m
超声波达	防水、防尘，监测距离在0.1-3m之间	测试角度较小，需要在车身安装多个	3m
毫米波达	不受天气情况和夜间影响，可以探测远距离物体	行人的反射波较弱，难以探测	>200m
激光雷达	测距精度高，方向性强，响应快，能快速复建出目标的三维模型，满足90%的三维工况	成本高，容易受天气的影响，如雨雪、大雾，但随着算法和激光器的进，可以解决	100-200m

3、车载传感器

激光雷达、毫米波雷达和摄像机是车载感知设备的主要选项。尽管自动驾驶车技术发展到现在，车载感知技术已经取得了长足发展。从目前传感器的性能来看，每一种传感器都有其使用的环境条件和性能的边界。包括：测量范围以及在不同环境下表现出来的感知缺陷。

 图 5 奥迪A8的传感器布局

（1）检测范围受限

传感器对周围环境检测的有其固定的范围。例如，长距毫米波雷达探测距离为1-280m，红外线传感器探测距离为0.2-120m，视觉摄像头探测距离为0-80m，中短距毫米波雷达探测距离为0.2-120m，短句毫米波雷达探测距离为0.2-30m，激光雷达探测距离为80-150m。下图为Tesla的传感器配置及传感器感知范围，扇形角度表示传感器的视场角，扇形半径表示传感器的最大检测距离。

 

图 6 特斯拉配置的传感器最大探测距离

（2）感知缺陷

每一种传感器都有其适用的环境条件。比如激光传感器检测效果稳定，但在面对大范围的尘土时，其检测效果大幅降低；再比如高分辨率摄像机能检测图像中的物体，窄视场的摄像机可以检测很远的距离。但是面对暴雨、大雪等恶劣天气，其很难检测到正确的车道线/障碍物/马路牙子等信息。

 

图 7 车身各传感器情况概述

（3）先验信息缺失

先验信息是指某些可以提前采集且短时间内不会改变的信息。仅仅依靠传感器的信息是很难感知车辆现在是处在高速公路上，还是处在普通城市道路上的；无限速牌的路段，车速最高可以开多快;前方道路的曲率；所处路段的GPS信号强弱，这些都是传感器遇到检测盲区，无法实时捕获的信息。而这些信息是客观存在，不会随外部事物的变化而变化，因此可以提前采集，并作为先验信息传给自动驾驶车做决策。图为高精度地图可以为自动驾驶车提供的某些先验信息。包括道路曲率、航向、坡度和横坡角。

因为车载感知方式存在这些缺陷，因此有必要通过路侧感知的方式，弥补这方面的不足。一方面可以大幅度提高自动驾驶车对周边环境的感知程度，同时也为其他普通车辆提供安全和效益方面的信息服务。

4、路侧传感器

车路协同路侧传感器主要包括激光雷达、毫米波雷达和摄像机。传统智能交通的传感器如视频卡口、视频事件检测、GNSS浮动车定位、4G大数据定位、事件报警等也需要纳入到车路协同全域感知体系。交通信号灯作为交通控制主要手段，其信号灯配时数据需要接入车路协同系统。

此外，物联网大数据如气象数据、道路路面感知数据、道路湿滑/积水等数据，根据实际情况需要也可以考虑接入系统。

5、车路协同通信

作为物联网面向应用的一个概念延伸，V2X（Vehicle to Everything）车联网是对D2D（Device to Device）技术的深入研究过程。它指的是车辆之间，或者汽车与行人、骑行者以及基础设施之间的通信系统。利用装载在车辆上的传感器、摄像头获取车辆行驶情况、系统运行状态及周边道路环境信息，同时借助GPS定位获得车辆位置信息；利用装在路侧的传感器获得道路环境信息；并通过D2D技术将这些信息进行端对端的传输，继而实现在整个车联网系统中信息的共享。通过对这些信息的分析处理，及时对驾驶员进行路况汇报与警告，有效避开拥堵路段选择最佳行驶线路。

V2X车联网通信主要分为三大类：V2V、V2I和V2P。运输实体，如车辆、路侧基础设施和行人，可以收集处理当地环境的信息（如从其它车辆或传感器设备接收到的信息），以提供更多的智能服务，如碰撞警告或自主驾驶。

 

图 8 车路协同服务

在V2X系统中，控制车辆与路面基础设施之间信息交流的部分就是车路协同，它能够让驾驶者能第一时间了解交通信息和危险状况。车路协同需要有高速、稳定、低时延的通信技术作为保障，而基于当前成熟的LTE技术的LTE-V2X能够让路边单元（RSU）与车载单元（OBU）的信息进行有效交互。同时，这项技术也在演进之中，在5G时代，更是能够凭借5G技术的优秀通信能力让自动驾驶成为可能，让人们获得更优良、安全、高效的出行体验。

 

图 9 华为LTE-V2X模块DA2300

6、高精度地图（HDM）

高精度地图，通俗来讲就是精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别，数据维度更多体现在其包括了除道路信息之外的与交通相关的周围静态信息。

高精度地图将大量的行车辅助信息存储为结构化数据，这些信息可以分为两类。第一类是道路数据，比如车道线的位置、类型、宽度、坡度和曲率等车道信息。第二类是车道周边的固定对象信息，比如交通标志、交通信号灯等信息、车道限高、下水道口、障碍物及其他道路细节，还包括高架物体、防护栏、数目、道路边缘类型、路边地标等基础设施信息。

以上这些信息都有地理编码，导航系统可以准确定位地形、物体和道路轮廓，从而引导车辆行驶。其中最重要的是对路网精确的三维表征（厘米级精度），比如路面的几何结构、道路标示线的位置、周边道路环境的点云模型等。有了这些高精度的三维表征，自动驾驶系统可以通过比对车载的GPS、IMU、LiDAR或摄像头的数据精确确认自己当前的位置。另外，高精度地图中包含有丰富的语义信息，比如交通信号灯的位置和类型、道路标示线的类型、以及哪些路面是可以行使等。

 

图 10 高精度地图的主要结构化数据

导航地图、ADAS地图和AD所需要的地图各不相同。（1）对于导航地图而言，街道名称是比较重要的信息，但对于ADAS和AD地图确并非如此。（2）道路曲率对于ADAS应用至关重要，对于自动驾驶也是必需的，但导航地图并不需要道路曲率数据。（3）道路的几何特征对于导航、ADAS和AD地图都是适用的。（4）不同地图级别和地图精度的背后是不同级别的智能驾驶以及不同级别的精度需求。

 

图 11 高精地图与导航地图的关联关系

高精度地图与传统地图的区别。与一般电子导航地图相比，高精度地图不同之处在于：

（1）精度：一般电子地图精度在米级别，商用GPS精度为5米。高精度地图的精度在厘米级别（Google、Here等高精度地图精度在10-20厘米级别）。

（2）数据维度：传统电子地图数据只记录道路级别的数据：道路形状、坡度、曲率、铺设、方向等。高精度地图（精确度厘米级别）：不仅增加了车道属性相关（车道线类型、车道宽度等）数据，更有诸如高架物体、防护栏、树、道路边缘类型、路边地标等大量目标数据。高精度地图能够明确区分车道线类型、路边地标等细节。

（3）作用&功能：传统地图起的是辅助驾驶的导航功能，本质上与传统经验化的纸质地图是类似的。而高精度地图通过“高精度+高动态+多维度”数据，起的是为自动驾驶提供自变量和目标函数的功能。高精地图相比传统地图有更高的重要性。

（4）使用对象：普通的导航电子地图是面向驾驶员，供驾驶员使用的地图数据，而高精度地图是面向机器的供自动驾驶汽车使用的地图数据。

（5）数据的实时性：高精度地图对数据的实时性要求更高。根据博世提出的定义，自动驾驶时代所需的局部动态地图（Local Dynamic Map）根据更新频率划分可将所有数据划分为四类：永久静态数据（更新频率约为1个月），半永久静态数据（频率为1小时），半动态数据（频率为1分钟），动态数据（频率为1秒）。传统导航地图可能只需要前两者，而高精地图为了应对各类突发状况，保证自动驾驶的安全实现需要更多的半动态数据以及动态数据，这大大提升了对数据实时性的要求。

高精度地图=高鲜度+高精度+高丰富度。不论是动态化，还是精度和丰富度，最终目的都是为了保证自动驾驶的安全与高效率。动态化保证了自动驾驶能够及时地应对突发状况，选择最优的路径行驶。高精度确保了机器自动行驶的可行性，保证了自动驾驶的顺利实现。高丰富度与机器的更多逻辑规则相结合，进一步提升了自动驾驶的安全性。

 

图 12 导航地图与智能驾驶地图的对比

高精度地图具备三大功能。（1）地图匹配。由于存在各种定位误差，电子地图坐标上的移动车辆与周围地物并不能保持正确的位置关系。利用高精度地图匹配则可以将车辆位置精准的定位在车道上，从而提高车辆定位的精度。（2）辅助环境感知。对传感器无法探测的部分进行补充，进行实时状况的监测及外部信息的反馈 ：传感器作为自动驾驶的眼睛，有其局限所在，如易受恶劣天气的影响，此时可以使用高精度地图来获取当前位置精准的交通状况。（3）路径规划。对于提前规划好的最优路径，由于实时更新的交通信息，最优路径可能也在随时会发生变化。此时高精度地图在云计算的辅助下，能有效地为自动驾驶车提供最新的路况，帮助自动驾驶车重新制定最优路径。

四、实时数据处理与信息融合

信息融合是利大数据、图像识别、人工智能等技术将来自多个传感器或多源的观测信息进行筛选、清洗、分析和综合处理，从而得出决策和预测所需的信息的处理过程。信息融合的基本原理是充分利用传感器资源，通过对各种传感器检测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则或算法组合来产生对观测对象的一致性解释和描述。

 

图 13 车路协同交通感知数据处理流程

1、实时数据处理分工

在车路协同服务平台中，边缘计算和云端计算组成了数据分析系统。根据不同的需要，云端和边缘计算节点分别完成不同的实时数据融合计算。与驾驶安全有关的数据处理和发送需要在10毫米以内完成，因此需要在边缘计算节点处理。其他与效率相关的服务因为需要结合整个区域交通状态进行处理和运算，而且这部分服务对时延要求不高，可以在云端进行处理。

表 3 边缘计算与云计算比较表

序号	项目	路侧边缘计算	云计算
1	设备	边缘计算服务器	云服务器
2	延时要求	5-10毫秒	500毫秒
3	主要任务	1）融合节点传感器数据，上传经处理好的结构化数据 2）更新局部动态地图(LDM) 3）确认和发布安全警告 得到授权的情况下 4）直接遥控车辆规避事故	1）融合区域交通传感器数据 2）优化区域交通控制方案 3）下发优化方案 4）其他交通信息服务

2、路侧传感器与车载传感器数据融合

路侧传感器与附近众多的车载传感器分别从不同的视角对同一道路地点周边环境进行观测，系统对不同传感器观测的数据按转换成统一的坐标系统，对不同感知数据进行相互比对，最终形成对道路环境、运动的车辆和行人的统一的映像，形成结构化数据，包括运动物体的瞬时位置、运动方向、运动速度等，最终生成道路地点的局部动态地图。

 图 14 交叉路口的三维运动物体识别

图 15 左：摄像机覆盖区域。右：雷达覆盖区域

3、生成局部动态地图（LDM）

局部动态地图是统一描述道路动态环境的高精地图，是判断车辆是否处于危险状态的重要参照。局部动态地图包括四个层级。

（1）持续静态数据层

主要是地图数据。更新频率约为1个月。

（2）半静态数据层

包括交通标志、标线、护栏、临时路标（如占路施工）等交通管理设施，以及其他交通基础设施的信息。更新频率为1小时。

（3）半动态数据层

包括信号灯灯色（相位、配时）、交通拥堵的情况、交通事故情况和其他交通事件等状态过程。更新频率应小于1分钟。

（4）高度动态数据层

包括汽车、摩托车、自行车、行人等运动的实体。需要知道实体的瞬时位置、移动的方向和移动的速度。更新频率为小于1秒。

 图 16 局部动态地图的四层

4、感知大数据数据结构化整合

车路协同传感器采集的数据包括大量非结构化的数据，如视频数据、激光扫描数据、微波感知数据等，传输这些海量数据至云端无论从占用带宽还是成本上都是不合理的。因此需要在边缘计算节点上将这些数据进行解析、整合，形成如交通流量、车速、排队长度等结构化数据，然后上传。

5、道路交通状态信息融合

道路交通状态信息融合可以在云端进行。通过接入区域各个边缘计算节点结构化整合数据，结合其他交通感知系统如4G/5G移动互联网数据等形成对道路交通运行宏观状态数据，可能的信息如下：

－实时的主干道（含外环路、快速路）交通数据；

－实时主要道路交汇（叉）点（桥）交通数据；

－高速路通行数据：放行、封路、施工、占道、高流量、突发事件（含交通事故）引起交通拥堵信息等；

－道路交通状况数据，包括实时的道路交通拥堵状况、平均车速、车道占有率、平均旅行时间等。

五、车路协同信息服务（简述）

1、面向交通安全的边缘计算服务

对于一期应用列表所列的应用场景，边缘计算服务根据数据融合生成的局部动态地图，判断车辆行驶的安全状态。对遇有危险的配备OBU的车辆，及时出警告，甚至直接干预车辆驾驶，采取必要的避险动作。

2、面向交通效率的云计算服务

（1）交通信号优化配时服务

根据区域交通流状态，对区域交通信号配时进行整体优化，以到达区域内车辆总体延误最小、排队长度最小等优化目标。

（2）交通诱导服务

根据区域交通状态甄别严重拥堵路段，生成车辆避开拥堵路段的策略，发布给抵达的车辆。

（3）公交优先服务

基于车路协同技术，当公交车辆接近信号控制交叉口时，车载单元向路口信号控制机发送特殊车辆定位距离和当前车速信息，由智能路侧单元计算出的预计到达时间，信号控制机根据当前信号的状态，对相位进行红灯早断、绿灯延时等干预操作，保证公交车辆的顺利通过。

六、小结

总之，车路协同全域感知将路侧感知和车载感知合而为一，形成对道路交通环境的全面感知和判断，使驾驶具备了超视距感知能力，一方面可以补充自动驾驶感知能力不足，提高驾驶安全性；另一方面，可以大幅地减少自动驾驶所依赖的传感器，降低成本，促进自动驾驶技术迅速达到实用化程度。