【智驾深谈】自动驾驶潜在突破点：传感器与车载集成系统（万字干货）
本文从工程实践角度，总结历届智能车大赛中无人驾驶技术进展，从几个潜在的突破点出发探讨了自动驾驶/无人驾驶技术的实用化内容，聚焦环境感知技术及车载传感器、车辆系统集成、V2X和车联网、高精度定位和地图技术、深度学习和计算平台等方面，其内容可供智能车辆研发者参考。
1、引言
1.1 从智能车挑战赛看中国智能车发展情况
从2009开始，在国家自然科学基金委“视听觉信息的认知计算”重大研究计划支持下，分别在西安、鄂尔多斯、赤峰、常熟等地举办了七届“中国智能车未来挑战赛”。智能车挑战赛是现有的国内外唯一专门面向无人驾驶的赛事，对中国无人驾驶车辆研究起到很大的推动作用。
历届中国智能车未来挑战赛
在前几届比赛中，参赛无人车辆行驶还比较慢，需要较多的人工干预。在2013年之后，国内相关研究单位取得了较大进步，参赛无人车辆已能在真实交通环境中进行顺畅地自主驾驶，与其他车辆进行交互。在诸多研究单位中，涌现出了清华大学、国防科技大学、同济大学、上海交大、军事交通学院、西安交通大学、北京理工、北京联合大学、南京理工大学、中科院合肥物资研究院、武汉大学、湖南大学等知名团队。这些团队已经和一汽集团、上汽集团、广汽集团、比亚迪和长城汽车等国内众多车企开展了许多深度合作。
不同年份中国无人驾驶车辆差异对比：
（a）2009年参赛无人车辆
（b）2015年参赛无人车辆
从上图可以看出，2009年参赛无人车辆都是在现有商用车上经过加装外置传感器和外置控制器等设备改装而成。而在2015年参赛的部分无人车辆则体现了研究单位与车企深度合作的结果，已经将大部分传感器内置并结合车载总线进行了控制和深度改造。除此之外，国内IT巨头们也纷纷投入无人驾驶研究，例如乐视已在多处开展研发，百度与宝马合作的无人驾驶车辆已经在北京的环路上进行了测试，长安汽车从重庆到北京进行了长途无人驾驶测试，这些车辆体现了不同等级智能化程度。在后续能够集成人工智能研究最新成果，有望引领中国智能汽车发展。
IT企业和车企也投入智能车辆研发
1.2 无人驾驶面临问题及潜在的突破点
虽然国内外的智能车辆研究取得了极大的进展，但是从近期的谷歌无人驾驶汽车和特斯拉自动驾驶汽车的事故来看，相关技术实用化还面临多重挑战。其中，最为关键的是如何提高环境感知精确程度，在环境感知能力上突破。在此基础上，特别是针对许多突发的交通场景，无人车辆需要进行智能决策和处理。
无人驾驶车辆的环境感知
本文探讨了无人驾驶技术几个潜在突破点：
首先，需要面向自动驾驶功能进行传感感器选择和优化配置。由于交通环境的复杂性，需要高精度的传感器进行环境检测。现阶段传感器均受其工作范围限制以及气候环境因素和车辆运动的干扰，无法保证所有情况下的保证安全驾驶的行车要素的准确检出。以激光雷达为典型的外部传感器价格昂贵，极大限制了实际大范围应用。所以，需要面向复杂环境感知需求，集成低价、性能优秀的车内和车外传感器，发挥各传感器的优势，在合适的成本基础上，按照不同等级的自动驾驶功能需求进行自身姿态和周边驾驶环境感知的传感器选择和优化配置。
其次，需要面向自动驾驶重新设计的车载集成系统。结合全新自动驾驶架构设计，结合集成化控制系统和新型总线分布，对自动驾驶功能进行扩展和集成。通过集成更优秀感知和决策算法的车载软件，使得自动驾驶系统具备更高安全性和鲁棒性。
再次，需要V2X无线网络支持。通过车联网络实现信息共享和传感器视距和感知范围扩展。需要高精度GPS定位和高精度的3D地图支持，降低对高精度环境感知的要求，降低实现高级自动驾驶系统的难度。
此外，需要高性能计算平台支持。通过集成高性能车载计算平台，结合深度学习技术，扩展车辆智能化水平。通过接入远程智能服务实现智能扩展与共享，将人工智能技术的新突破应用于无人驾驶。
现阶段常用的外部传感器，只在某些特定情况下适用，精确感知需要进行多传感器信息融合。例如，毫米波雷达可以准确检测前方车辆的距离和速度，具备较强的穿透雾、烟、灰尘的能力；但无法对目标进行细化识别。而相机视觉系统可以获得车道线、交通信号等目标的颜色和形状等细节，从而进行深度识别。但是相机视觉系统的测距能力没有激光雷达精确。激光雷达通过点云来建立周边环境的3D模型，可以检测出包括车辆、行人、树木、路缘等细节。所以，通过激光雷达或毫米波雷达与视觉传感器进行融合，不仅可以进行目标物体检测，而且还能进行目标空间测距，目标图像识别等功能。类似，GPS定位、视觉传感器和激光雷达进行融合，则可以实现车道保持所需的高精度定位，也能实现多类障碍物目标检测。
基于激光雷达等传感器的环境感知模型
近期特斯拉汽车事故说明要做到高级自动驾驶仅靠单类传感器则难以实现，而是需要多种传感器融合，特别是关键性传感器不能减配。无人驾驶汽车的车载传感器配置可作为完整性参考方案。
1、车载传感器选择参数
在选择车载传感器时，一般需要综合考虑多个方面的属性，包括传感器精度、分辨率、灵敏度、动态范围、传感器视角、主动与被动传感器、时间精度和输出接口。以及误报率、温度适应性、黑暗适应性、不良天气适应性、硬件成本、信号处理能力等。表1是常见的几类传感器综合指标，包括超声波雷达、激光雷达、毫米波雷达、摄像头、红外探头等，可以综合考虑加以选取配置。
表1. 车载传感器指标对比
| 传感器 指标项 |
激光雷达 |
毫米波雷达 24G/77G |
视觉相机 |
红外 |
超声波 |
||
| 前向 |
全向 |
单目 |
双目 |
||||
| 精度 |
优 |
优 |
良 |
一般 |
优 |
一般 |
一般 |
| 分辨率 |
优 |
优 |
良 |
一般 |
优 |
一般 |
一般 |
| 灵敏度 |
优 |
优 |
优 |
良 |
优 |
良 |
一般 |
| 动态范围 |
优 |
良 |
优 |
一般 |
良 |
良 |
一般 |
| 传感器视角 |
良 |
优 |
一般 |
良 |
良 |
良 |
一般 |
| 主动与被动 |
主动 |
主动 |
主动 |
被动 |
被动 |
被动 |
主动 |
| 时间精度 |
优 |
良 |
优 |
良 |
一般 |
良 |
一般 |
| 误报率 |
良 |
良 |
优 |
良 |
良 |
良 |
良 |
| 温度适应性 |
优 |
优 |
优 |
优 |
优 |
良 |
良 |
| 黑暗适应性 |
优 |
优 |
优 |
一般 |
一般 |
优 |
优 |
| 天气适应性 |
良 |
良 |
优 |
一般 |
一般 |
一般 |
良 |
| 硬件成本 |
高 |
高 |
中 |
低 |
中 |
低 |
低 |
| 处理能力 |
优 |
优 |
优 |
良 |
优 |
良 |
一般 |
| 输出接口 |
优 |
优 |
良 |
良 |
良 |
良 |
一般 |
注：
（1）传感器精度：真实值和传感器的测量值之间的误差，取决于外部干扰等因素。
（2）传感器分辨率：两次测量值之间的最小方差，通常比传感器的实际精度更低。
（3）传感器灵敏度：可检测或测量的最小值。
（4）传感器的动态范围：最小以及可以准确地报告最大值。
（5）传感器视角：描述传感器可以看到的视场角度。
（6）主动与被动传感器：有源传感器主动感测环境，无源传感器则比较依赖环境条件。
（7）传感器时间精度：传感器的刷新速率和测量带宽变化频率
（8）传感器输出接口：输出模拟电压，电流，数字信号，串口或网络数据流等方式。
（9）低误报率：由于噪声、干扰等引起检测结果误报的比例。
（10）温度适应性：是否能在不同温度条件下正常工作。
（11）黑暗适应性：是否能在不同光照条件下正常工作。
（12）不良天气适应性：是否能在下雨、扬尘、潮湿等天气中正常工作。
（13）低成本硬件：传感器硬件价格成本。
（14）信号处理能力：传感器数据量。
2、实现不同等级的自动驾驶所需传感感器
在不同等级的自动驾驶功能实现中，通过对雷达、激光雷达、视觉相机（单目、双目和红外）、超声波等常见传感器的优劣势分析，最终形成适当的车载传感器配置。
表2. 实现不同自动驾驶功能所需传感器及感知参数分析
如下图所示，要实现典型的自动驾驶功能，要求车载传感器能够覆盖长、短距检测、兼顾日夜行驶等需求。典型方案中要求配备毫米波雷达传感器6个（超长距前窄角1个，中距前窄角1个，后/侧面广角4个）、红外夜视传感器1个（长距前窄角）、图像摄像头6个（长距前窄角1个，短距广角后方1个、侧面4个）、以及超声波传感器4个（前/后侧短距广角）。
实现自动驾驶系统所需的车载传感器配置
而要实现无人驾驶，除了上述传感器之外，还需要选配高精度GPS定位系统及高精度测距传感器，还需要应对复杂路况的各类激光雷达传感器等。如图5所示，参加DARPA Urban Challenge比赛的Stanford 大学“Junior”无人车，则在大众SUV基础上，配备5个激光雷达（IBEO，Riegl，SICK和Velodyne），1个Applanix GPS惯性导航系统，5个BOSCH毫米波雷达，以及前向相机系统。
Junior无人驾驶车辆及其传感器配置
Junior无人驾驶车辆定位通过Applanix POS LV 420集成惯性导航系统实现，包括GPS方位航向测量、高性能惯性测量单元、车轮里程计（DMI）和OMNISTAR卫星虚拟基站服务，提供低于100厘米和0.1度的实时位置和方向误差。2个侧向的SICK LMS 291-S14激光雷达和1个前向的RIEGL LMS-Q120激光雷达提供3D道路结构和车道标线检测，并进行车辆高精度定位。1个车顶64线Velodyne HDL-64E激光雷达用于障碍物和移动车辆检测，形成水平方向360度和垂直方向30度视域的扫描数据，由车尾的2个SICK LDLRS激光雷达和前保险杠2个 IBEO ALASCA XT激光雷达进行视野补充。5个安装在前格栅的BOSCH长距离雷达（LRR2）提供周围移动车辆的检测信息。由两个英特尔四核服务器通过一个千兆以太网进行连接来提供传感器融合等车载计算服务。
3、通过车载传感器集成与智能化降低整体费用
通过车载传感器集成与智能化与能够突破自动驾驶技术所需的环境感知基础支撑，通过配置优秀和价格低廉的车载传感器，实现环境感知，推进无人驾驶技术进展。如图6所示，现有的车载传感器通过各类总线技术进行集成和配置，再通过传感器信息的智能化处理，输出自动驾驶所需的环境感知信息。
车载传感器集成与智能化
同样，智能车辆也需要从车身内的传感器的智能化与集成内容入手，分析实现自动驾驶需要哪些车载传感器。通过融合车载的IMU、车头指向设备和GPS等传感器进行车辆位姿精确感知，实现车辆控制。
现有车辆设计还没有考虑智能化需求，车身载传感器的种类较多，分布在各个子系统中，有一些传感器重复使用。下一阶段，更多考虑智能化功能需求，并且通过传感器的微型化、多功能和智能化、集成化发展。通过MEMS传感器实现微型化；通过集成多功能、减少车载传感器数量，提高车辆姿态感知可靠性；通过传感器与微处理器结合集成智能化处理算法，减少ECU复杂度。通过传感器总线集成，可以实现车身传感器信息共享，降低了成本。例如，速度传感器、加速度传感器、加速踏板位置传感器、节气门位置传感器、方向盘转角传感器等信息，可以智能车辆的各个子控制系统功能模块中共享。
车载自身姿态感知传感器方案
3.1通过V2X车辆联网扩展智能车环境感知能力
通过V2X应用可以扩展车载传感器感知范围，通过多车之间沟通各自速度、加减速和转向等信息，提高自动驾驶安全性，为交通的可预测和管控提供基础。通过V2X应用广播前车的环境感知结果，使得施工、交通事故、道路异物、坑洞和路滑等情况可以预先告知后车，有效提高自动驾驶安全。使智能车辆的环境感知范围扩大，不再受限于车载传感器的视距范围限制，减少了多变的天气和复杂环境因素影响。
基于V2X技术扩展智能车辆感知能力
通过V2X网络互联到云端，可以获得更大范围的环境信息，扩展了实时导航和路径规划等服务。在没有网络信号的地方，通过本地通讯服务，在几百米范围内形成车间局域网络，形成一个几公里范围的视野，更容易实现安全的自动驾驶。
现阶段较多采用IEEE802.11P等短距通讯来构建DSRC短程车间网络，更大范围的网络基于LET-V等技术来构建，还包括LTE标准（LTE V2X）技术，通过LTE-Direct （LTE-D）技术能寻找500m内数千车载设备并提供服务，让最接近的LTE-D设备实现通讯。此外，正在发展中的5G网路技术也可为车载应用构建基础支撑。DSRC之类短距通讯已经开展并通过了一系列的现场测试，进入实际部署工作；而LTE V2X等新技术还在开发阶段，需要制定新标准和开展更多测试。
3.2基于高精度定位和3D高精度地图支持降低对传感器依赖
智能车辆都采用GPS或者北斗等全球定位系统进行定位和导航，现阶段还需要提高定位系统的精度，提供高精度导航地图来满足自动驾驶需求。通过提供厘米级的定位以及应对复杂驾驶环境的精确三维地图数据，智能车辆获得最佳行车路线，地形特征，位置映射等，方便进行动态目标检测和障碍物检测等，极大降低对传感器依赖。
1、高精度定位系统
民用级GPS在接收到4个或更多卫星时能提供约为十米级的定位精度,差分GPS(（Differential Global Positioning System)通过在位置已经精确测定的已知点上配备一台 GPS 接收机作为固定地面参考点，参考点和定位设备间利用广播等方式增加一步位置修正，可以达到米级定位精度。要实现厘米级精度的定位，还需要将GPS设备和高精度惯性测量单元（IMU）结合起来,GPS提供高精度定位数据，惯性测量单元提供高频率采集数据。例如，在自动驾驶方案中采用Applanix POS的系统提供多双频GPS接收信息实时集成，包括GPS方位航向测量、高性能惯导测量单元（6自由度、安装靠近后轴处）、车轮里程计（DMI）、OMNISTAR卫星虚拟基站服务等，系统实时位置误差通常可低于100厘米，方向误差低于0.1度。这些高精度定位方法成本较贵，限制了实际大范围应用。后续需要集成基于低功耗、低价、微小型智能定位传感器，提供高精度定位服务。
Applanix POS LV420系统
2、高精度导航地图
目前所用导航地图所提供信息的精细程度还无法满足自动驾驶要求。通过采用激光雷达获取三维点云数据，并进行人工标记之后建立路面模型，包含道路上较为全面的交通标志、交通信号灯等信息，还包括车道线位置、数量和宽度等信息，包括道路坡度和斜率等，还包括车道限高、下水道口、障碍物以及其他道路上一些细节。地图既可以提供当前道路的静态环境模型，也可以通过预先存储的点云和图像特征数据来提供高精度定位。
在高精度地图技术路线中，一类是谷歌和Here的激光雷达和摄像头获取3D点云数据测量的地图，在点云数据基础上进而建模分类得到高精度地图。另外一类是通用、大众联手Mobileye的RoadBook众包地图，通过车辆摄像头和GPS，结合本地以及云端软件来开展高精度地图服务。
高精度地图需要使用高精度激光雷达，收集数据后进行人工标记才能使用，比较耗时费力，测绘成本较高，不会频繁更新数据，实用性下降。采用众包方式收集数据，通过每辆车载终端得到车道线、各项道路标志以及道路上的基础交通设施等信息发送云端，虽然精度不如激光雷达测定，但通过增加数据量来提高精度，可以降低成本，并且实时更新地图。例如，Mobileye通过EyeQ4系统上增加更多检测设备并整合其软件系统，结合道路经验管理系统（RoadExperience Management，REM），利用深度学习技术来对道路上各种行车要素的识别和采集，最后构建Roadbook。REM根据驾驶环境来综合分析路况，如前车运动轨迹、路边静止的物体等信息，得到合适的可行驶路线。所采集信息在本地进行预处理之后得到近处以一维数据为主的表示，结合必要的三维数据，最终让地图信息保持较小规模，方便及时上传与下载更新。通过多车辆的学习和完善，云端系统将会比人类驾驶员更熟练地处理复杂交通场景，有利于克服自主驾驶面临的困难挑战。
图10.Roadbook高精度导航地图
高精度地图是实现自动驾驶和无人驾驶不可或缺的基础支撑，许多企业开始开发定制化地图，包括Here（奥迪宝马和戴姆勒）发布的HDLive地图、Mobileye发布RoadBook、TOMTOM为苹果、Uber和Bosch提供地图数据，发布RoadDNA，大陆的RoadDB（RoadDatabase），以及车企如丰田推出的全新地图绘制技术，国内百度、高德、四维图新和武汉光庭等公司开发的高精度地图等。
通过全新的面向智能车辆的架构设计，结合集成化控制系统和新型总线，将传感器和智能计算单元进行配置和集成，将可为自动驾驶提供基础架构支撑。
4.1面向自动驾驶的新型车辆总线控制架构
无人驾驶技术离不开车载控制系统的深度集成，由于车企保护做法，许多车辆总线系统还没对外开放，现在还有许多实现方案是不对原车做任何改动，直接附加一套电机装置，类似于ADAS测试中使用的ADB机器人，但这种方法安全性极低。自动驾驶车辆的执行器改装主要分为转向、制动和油门改装等部分。由于没有车企的支持，现有一些自动驾驶方案中还是通过外加转向机器人、制动机器人和油门机器人的方式来实现对车的控制。由于这类改装方式，需要外部控制系统，例如刹车采用电机拉动钢丝绳，钢丝绳连在刹车踏板上，刹车的反应时间增加，可靠性和实时控制都降低，无法体现无人驾驶的优势。
设计复杂的自动驾驶机器人
而基于线控技术集成的自动驾驶系统将极大提高智能车辆的可靠性和操控性能。自动驾驶方案中动力、转向和制动（部分还包括悬挂）三个系统需要X-by-wire线控技术。得到车企和博世等零部件供应商支持的自动驾驶方案中，能够通过车辆内部CAN通信的方式实现对EPS、ESP等执行机构的准确控制。此外，在纯电动或者混动车基础上改装具备线控（液压）刹车的配置，将具有很大的优势。
基于线控技术的自动驾驶方案
现阶段，还需要通过一种可行的通用集成方案，将控制系统集成到CAN总线、Flexray或者快速以太网总线上。通过将决策控制信息与车辆底层控制系统深度集成。CAN FD 1.0作为CAN 2.0的技术升级，可以作为智能车辆车载总线的实现方式。此外，由于智能车辆技术发展，急需满足更高数据带宽的车内连接。Tesla在车载信息服务上采用以太网作为总线网络。例如，基于IEEE802.3bp的1000BASE-T1标准草案设计，满足汽车系统严格的EMI要求，支持车内传输多路高清视频流。单对双绞线以太网允许选择轻量型、低成本线束。
4.2、车载高性能集成计算平台
智能车辆一旦完成车身完整构建，采用传感器获得环境感知信息，还需要能够处理大容量数据，所以处理器芯片对无人驾驶车辆同样重要。许多移动终端产品芯片供应商已经开始为自动驾驶技术的实现提供图像处理功能。由于嵌入式平台计算能力提升，现在智能车辆计算平台一般采用带有GPU单元的嵌入式处理器来构建。例如高通、三星也推出了车载嵌入式平台，高通骁龙602A应用处理器，拓展面向汽车的产品组合，实现多系统支持的感知功能；三星处理器芯片目前主打车机互联系统、汽车智能硬件等。
在奥迪自动驾驶汽车架构中的驾驶辅助控制器（zFAS）中的传感器融合单元核心部件是NVIDIATegra K1平台，极大简化了车载计算平台。NVIDIA的TK1有四个ARMCortex-A15核，192Kepler GPU集成CUDA，提供327GFLOPS计算性能，处理CUDA数据时功率小于6W（包括SoC和DRAM）。英伟达Drive PX无人驾驶汽车平台的两个Tegra X1处理器，能够处理来自12个摄像头的数据流，完成驱动高级驾驶员辅助功能运行。最新的DRIVE PX 2硬件计算平台，支持12路摄像头输入、激光定位、雷达和超声波传感器；包括两颗新一代NVIDIA Tegra处理器，其中包括8个A57核心和4个Denver核心；基于NVIDIA的新一代GPU架构Pascal设计，单精度计算能力达到8TFlops，超越TITAN X的10倍以上的深度学习计算能力。
NVIDIA DRIVE PX 2自动驾驶开发平台
NVIDIA开发网提供算法库支持，有助于加速开发。NVIDIA建造NvidiaPX2构建的Drivenet平台，已在自动驾驶车辆上进行测试。能够将外部传感器获取的图像数据处理后形成高精度点云，并上传至云端服务器，经过更高性能的基于DGX-1的服务器处理后，融合成完整高精度地图。车载计算平台和云端服务器形成NVIDIA完整的自动驾驶技术平台解决方案。
流行的深度学习框架如Caffe、Theano、Torch推出CUDA工具库，大幅提高图像识别准确率，让车载计算平台拥有更强的数据处理能力，通过运行深度学习算法来加强车辆感知能力，对车载各类传感器数据进行处理与分析，进行驾驶决策。
深度学习的车载嵌入式计算平台
智能车辆研发已经进入关键节点，其技术突破的难点已经从算法研究转移到了面向自动驾驶的车载传感器、车辆总体架构设计、智能计算平台集成等实用化技术上。本文结合多年的智能车研发经历，聚焦在环境感知技术及车载传感器、车辆系统集成、V2X和车联网、高精度定位和地图技术、深度学习和计算平台等方面上，针对这些可能的突破点进行探讨，其中内容可作为智能车辆研发的参考。
参考资料：
[1] en.wikipedia.org/wiki/
[2] 新智元公众号
[3] http://www.cheyun.com
[4] www.nvidia.com/object/drive-px.html
[5] Jaycil Z. Varghese, Overview of Autonomous Vehicle Sensors and Systems，Proceedings of the 2015 International Conference on Operations Excellenceand Service Engineering
[6] Junior: The Stanford Entry in the Urban Challenge, Michael Montemerlo,Jan Becker, .., and Sebastian Thrun. 2008. Junior: The Stanford entry in theUrban Challenge. J. Field Robot. 25, 9 (September 2008), 569-597.
[7] C. Urmson, J. Anhalt, D. Bagnell,., , “Autonomous driving in urbanenvironments: Boss and the urban challenge,” J. Field Robot.,vol. 25, no. 1,pp. 425–466, Jun. 2008.
[8] W. Huang, D. Wen, J. Geng, N.-N. Zheng, "Task-Specific performanceevaluation of UGVs: Case studies at the IVFC," IEEE Transactions on Intelligent Transportation Systems, vol. 15,no. 5, pp. 1969-1979, 2014.
[9] 黄武陵. 无人驾驶汽车带来的交通便利[J].单片机与嵌入式系统应用,2016,16(6):6-8.
[10] 黄武陵.智能车辆环境感知技术与平台构建[J].单片机与嵌入式系统应用,2016,(7).
[11] 黄武陵.智能车辆的道路检测及其应用[J].单片机与嵌入式系统应用,2016,(8).
文章转自新智元公众号，原文链接