李德毅院士：基于驾驶脑的智能驾驶车辆硬件平台架构

来源：中国工程院院刊

转自：智车科技

导 读： 

智能驾驶车辆试验平台是人工智能科学、认知科学、控制科学等多个学科领域的最新理论与实践的成果，也是研究智能驾驶理论与技术的基础。不同智能驾驶试验平台的传感器型号、数量、安装位置各不相同，导致传感器信息处理模块也各不相同；不同驾驶地图，其提供信息的粒度也没有固定标准，由此构成的智能驾驶系统软件模块的数量、接口各不相同。

CAAI名誉理事长、中国工程院院士、CAAI Fellow李德毅院士科研团队在中国工程院院刊《Engineering》撰文指出，基于以驾驶脑为核心的智能驾驶车辆软件与硬件架构，决策模块将不直接与传感器信息处理模块发生关联，通过驾驶认知的形式化语言，将驾驶认知形式化，由驾驶脑认知形成决策。驾驶认知的形式化降低了传感器数量、类型、安装位置的变化对整个软件架构的影响，使得软件架构可以在不同传感器配置车辆平台上方便地移植。

01

引 言

智能驾驶车辆试验平台是人工智能科学、认知科学、控制科学等多个学科领域的最新理论与实践的成果，也是研究智能驾驶理论与技术的基础。

早在20世纪50年代，美国就开展了无人驾驶车辆研究。1950年，美国贝瑞特电子公司研制出全球第一台自主导航车。美国无人驾驶车辆研究起源于美国国防部高级研究项目计划局（Defense Advanced Research Projects Agency，DARPA），其研究水平处于世界领先地位。欧洲各国自20世纪80年代中期开始研发无人驾驶技术，将无人驾驶车辆作为独立个体，让车辆混行于正常交通流。1987年慕尼黑联邦国防军大学、戴姆勒奔驰、宝马、标致、捷豹等著名研发机构和汽车企业联合参与开展普罗米修斯计划（Programme for a European Traffic of Highest Efficiency and Unprecedented Safety，PROMETHEUS），在世界范围内产生重大影响。自20世纪90年代开始，日本交通部门的高级驾驶辅助公路系统研究协会（Advanced Cruise-Assist Highway System Research Asso-ciation，AHSRA）发起了高级安全车辆（advanced safety vehicle，ASV）项目，以每5年为一个阶段开展无人驾驶技术研究。我国无人驾驶技术的研究始于20世纪80年代后期，由国家高技术研究发展计划（863计划）和国防科学技术工业委员会相关研究计划支持。自2008年起，在国家自然科学基金委员会的支持下，中国开展智能车未来挑战赛，参赛队伍数量逐年增长，比赛难度逐年提升，赛车队的完成质量逐年提高，车企参与热情逐渐加强，为无人驾驶技术引入国产汽车打下了坚实基础，无人驾驶技术取得飞速进展。

传感器配置是智能驾驶车辆的基础，用来感知智能驾驶车辆实时的外部环境与内部环境，包括感知智能驾驶车辆周围环境、自车状态、航向角、位置等。根据不同的研究策略，不同的智能驾驶车辆试验平台有不同的传感器配置，传感器类型、安装位置也各不相同，没有统一标准的方案。有些研究团队主要依赖于视觉传感器，典型代表是意大利帕尔马大学VisLab实验室的智能车团队与卡尔斯鲁厄理工学院智能车辆团队；有些研究团队主要依赖于雷达传感器，典型代表是Google的无人驾驶车辆团队与慕尼黑大学无人驾驶车辆团队。在传感器配置方案中，既要考虑决策程序的需要，也要考虑通过必要冗余和印证提高环境感知的可靠性，同样需要考虑传感器配置的成本。传感器的种类和配置，既没有唯一解，也不会有最终解。本文通过设计了以驾驶脑为核心的无人驾驶车辆的技术架构，体现人类认知的驾驶脑的架构设计，降低传感器数量、类型、安装位置的变化对整个架构的影响，使得基于以驾驶脑为核心的技术架构可以在不同传感器配置的智能驾驶车辆平台上进行移植。

智能驾驶技术以及智能驾驶车辆研究的重要意义在于提高交通安全，预防与降低交通事故，减少燃油消耗带来的环境污染，加速社会智能化发展。智能驾驶车辆是轮式机器人的一种，它集认知科学、人工智能科学与控制科学等前沿科学技术，其研究目标是实现人类驾驶与机器驾驶的双驾双控，人与机器和谐驾驶，提高车辆的行驶安全，促进车辆智能工业的发展。

本文通过对人类驾驶员的驾驶活动进行分析，构建基于驾驶脑的技术架构的智能驾驶车辆硬件平台，主要贡献总结如下：

（1）基于猛狮智能车辆测试平台，对大脑认知的工作原理和人类驾驶员的驾驶活动进行了分析，建立驾驶大脑的不同功能区域和计算机软件模块之间的关系。通过驾驶认知语言进行驾驶认知表达，也就是说，以驾驶脑为设计核心，为智能车辆开发通用的智能驾驶软件体系结构。

（2）智能车辆使用各种各样的传感器。这些传感器安装在不同的位置，为了信息整合建立了一个统一的架构。在本文中，智能决策模块和传感器之间低耦合的方法是根据自然的人类认知规律进行设计与建立，并对应于上述设计（即以驾驶脑为核心）来实现的。

本文按如下的方式进行组织，第二部分对人类驾驶活动进行分析与构建驾驶脑架构；第三部分基于猛狮智能驾驶车辆平台建立驾驶脑架构的硬件配置与连接；第四部分介绍猛狮智能驾驶车辆传感器配置，并进行传感器分析；第五部分进行讨论；第六部分总结全文。

02

驾驶脑与人脑功能区域对应关系

不论是人类驾驶还是无人驾驶系统，其驾驶活动均 涵盖3个空间：感知空间、认知空间与物理空间。

在感知空间中，人通过视觉、嗅觉、触觉等各种感官，无人驾驶车辆通过各类传感器，完成对周边环境和自身状态的信号获取。

在认知空间中，人脑中的驾驶相关区域和无人驾驶车辆的驾驶脑，通过选择性注意机制，从感知空间各类信号中抽取出与驾驶活动相关的交通要素，形成驾驶态势，并利用已有知识和经验，对当前和历史驾驶态势进行分析和理解，做出决策。

在物理空间中，人通过四肢，无人驾驶车辆通过机械结构及电信号，控制方向盘、油门、刹车，使车辆达到或接近预期状态，并将当前状态反馈给感知空间，形成闭环控制（图1）。

图1 驾驶活动中的3个空间

人脑通过不同区域的协同工作，完成学习与记忆， 实现驾驶活动。驾驶脑利用计算机技术解构这一活动机制，分析与完成人脑各功能区域与驾驶脑功能模块的对应关系。人脑主要包括感觉记忆、工作记忆、长期记忆、计算中枢与思维、动机、性格、情绪等功能区域。

感觉记忆完成对感官信息的瞬时存储，尽管存储时 间短，但信息量大。对应于智能车载传感器对周边环境 的感知。传感器得到的图像、点云等原始信号（如存储在缓存区内），新数据迅速覆盖旧数据，这一机制与感觉记忆的工作原理相似。

感觉记忆中的感官信息，由计算中枢与思维迅速分析，通过选择性注意机制，抽取与当前活动相关的内容，传递给工作记忆。对应于各驾驶脑中传感器的信息处理模块，完成各类车载传感器信息的预处理与分析，获取车道标线、红绿灯、交通标志、周车、行人、自车状态与位置等与驾驶有关的信息，与驾驶无关的信息则被迅速丢弃。

长期记忆中存储重要的驾驶经验、知识、场景等信息。对应于智能驾驶的驾驶地图与驾驶操作模型，驾驶地图精确记录了与驾驶相关的地理信息，包括车道宽度、交通标志、静态障碍物信息等。驾驶操作模型包括轨迹跟踪模型、跟驰模型、换道模型、超车模型等，是智能驾驶车辆的操作规范。驾驶地图与驾驶操作模型共同构成了智能驾驶系统的先验知识。长期记忆中与当前活动相关的内容由计算中枢与思维完成抽取，传递给工作记忆。这一抽取过程对应于智能驾驶车辆的驾驶地图映射模块。

工作记忆中暂存着与当前驾驶活动相关的重要信息。这些信息部分来自于感觉记忆中抽取得到的实时信息，部分来自于长期记忆中抽取得到的先验知识。这些实时信息和先验知识相互融合，为计算中枢与思维提供分析与决策的信息池。与之对应，智能驾驶系统包括一个公共数据池。数据池是驾驶认知的形式化表达，各传感器信息处理模块提供的多元异构实时驾驶信息，以及驾驶地图提供的驾驶先验信息，用驾驶态势形式化语言进行统一表达，全面反映无人驾驶车辆周边的驾驶态势。

人类计算中枢与思维根据工作记忆中的信息实时进行决策，并由四肢控制执行机构做出反应。对应于智能驾驶系统的智能决策与自动控制模块。智能决策模块根据当前或历史驾驶态势，结合先验知识，完成行为选择、路径与速度规划等功能。自动控制模块接收规划路径与速度，完成对油门、刹车、方向的协同控制，使车辆达到或接近预期状态。

人脑中还有性格、情绪等功能区域。性格反映了不同驾驶员在不同时间、地点的驾驶风格，对于智能驾驶系统，驾驶风格由驾驶操作模型中的参数决定。情绪是生物的特有属性，人类驾驶行为会受到情绪焦躁、恐惧等的影响，妨碍安全驾驶。驾驶脑的实现不包括人脑中的情绪，因此有必要确保驾驶行为的安全性和稳定性。人脑功能区域与驾驶脑功能模块的对应关系如图2所示。方框描述了驾驶脑的功能。

图2 人脑功能区域与驾驶脑功能模块的对应关系。SLAM：即时定位于映射

不同的智能驾驶试验平台的传感器型号、数量、安装位置各不相同，传感器信息处理模块也各不相同；不同的驾驶地图，其提供信息的粒度也没有固定标准。由此构成的智能驾驶系统软件模块的数量、接口各不相同。以驾驶脑为核心，将驾驶认知形式化，利用驾驶认知的形式化语言，设计通用的智能驾驶软件架构。本架构中，智能决策模块并不直接与传感器信息发生耦合，通过传感器信息和地图先验信息综合形成的全面的驾驶态势完成智能决策。基于驾驶脑的猛狮智能驾驶试验平台架构如图3所示。

图3 基于驾驶脑架构的猛狮智能驾驶试验平台。CAN：控制器域网；CT：计算机断层扫描；GPS：全球定位系统；MMW：毫米波；OBD：车载诊断；RTK：实时动态

03

基于驾驶脑的硬件架构

（一）硬件配置

智能驾驶车辆平台机械结构各不相同，如汽油车、电动汽车和公共汽车，机械及电气改造也有所差异。在大量工程试验后，智能驾驶车辆试验平台均可通过CAN总线进行实时通信，实时准确地控制智能驾驶车辆方向、油门及制动，经过智能驾驶车辆动力学性能测试保证了智能驾驶车辆与成品车辆动力学性能的一致性。

智能驾驶车辆根据环境感知的可靠性与传感器配置的成本，进行车载传感器的配置。以雷达传感器为例，SICK激光雷达、毫米波雷达识别低矮障碍物，四线激光雷达识别动态障碍物，八线激光雷达识别道路可行驶区域，Velodyne 64线激光雷达识别动态障碍物的速度、道路边界、车身定位。根据决策程序的需要可以部署一个Velodyne 64线激光雷达，也可以同时部署多个激光雷达的组合，但需结合无人驾驶车辆硬件平台的成本。以视觉传感器为例，视觉传感器的配置方案是可以在无人驾驶车辆某一位置部署一个广角摄像头或全景摄像头，通过多线程实现一个摄像头多目标的并行检测，如对停止线、斑马线、车道线、红绿灯、交通标志牌、行人、车辆、动态与静态障碍物等进行检测与识别；也可以在无人驾驶车辆不同位置部署多个广角摄像头或全景摄像头，实现每个摄像头完成一项专门的检测与识别任务。基于驾驶脑的智能驾驶车辆硬件平台已经验证了不同类型、不同厂商的多种传感器，并在不同的智能驾驶车辆试验平台进行测试，保证了信息的可靠性和冗余性。

图4显示了猛狮智能驾驶车辆的传感器配置。猛狮智能驾驶车辆试验平台在车辆顶部安装Ibeo的8线激光雷达，车辆正前方安装了一个SICK单线激光雷达，用于低矮障碍物的检测，在车辆后部安装一个SICK单线激光雷达与一个毫米波雷达，为基于雷达的同步定位与地图绘制（simultaneous localization and mapping，SLAM）提供丰富的数据支撑，雷达是无人驾驶车辆试验平台中广泛采用的传感器之一。此外，猛狮智能驾驶车辆试验平台视觉传感器的配置主要包括在车辆内部前挡风玻璃正上方安装了3个AVT 1394 Pike F-100C摄像头，在左右后视镜正下方位置各装了一个视觉传感器，前者主要用于感知交通标志、交通信号灯等。后者主要为了采集左、右车道线图像，提高车道线识别与检测的准确性。猛狮智能驾驶车辆试验平台的导航定位系统采用NovAtel SPAN-CPT产品，主要由全球定位系统（glob-al positioning system，GPS）和惯性导航系统（inertial navigation system，INS）两部分组成。

图4 猛狮智能驾驶车的传感器配置

通过猛狮智能驾驶车辆试验平台的传感器配置测试，不同的传感器配置方案具有不同的功能，功能间相互补充。驾驶脑被认为是无人驾驶车辆软件与硬件架构的核心。感知的结果表现为反映时序的点云图簇，认知的结果表现为驾驶态势图簇，决策的结果表现为认知箭头簇，通过驾驶认知的形式化语言驾驶态势认知图，将驾驶认知形式化，由驾驶脑认知形成驾驶态势图簇以进行决策，而决策的结果为形象化的认知箭头簇。体现人类认知的驾驶脑的架构设计，是智能驾驶车辆的核心。驾驶认知的形式化降低了传感器数量、类型、安装位置的变化对整个架构的影响，使得架构可以在不同传感器配置的车辆平台上进行方便的移植。

（二）硬件连接

猛狮智能车辆的物理连接如图5所示。SICK激光雷达和Ibeo激光雷达通过交换机与工控机（IPC）连接。Delphi毫米波雷达（MMW）通过CAN总线与IPC直接相连。GPS和INS通过RS232串行总线与IPC相连。AVT 1394 Pike F-100C摄像机通过1394标准视频传输线与IPC 相连。IPC完成数据融合、决策和规划、动态控制的功 能。控制指令通过CAN总线发送给油门、制动和方向盘 的执行器。

图5 猛狮智能驾驶车的传感器配置

（三）硬件平台性能分析

基于驾驶脑的无人驾驶车辆架构将智能决策与传感器信息解耦。通过传感器信息处理模块的输出，由驾驶认知形式化语言进行统一，构成驾驶态势实时信息；驾驶地图中的信息，则根据车辆实时位置及朝向， 映射到驾驶态势中，与驾驶态势实时信息融合，形成全面反映当前驾驶态势的公共数据池。智能决策模块以这一公共数据池为基础，综合考虑交通规则、驾驶经验等先验知识，完成智能决策。通过驾驶认知的形式化语言，在驾驶信息完备的条件下，增加、减少一路或几路传感器，改变传感器型号或安装位置，不再对智能决策直接造成影响。整个架构只需做很少的改动，甚至完全不需调整，就可以在不同车辆试验平台上方便地迁移。

04

基于驾驶脑的实车硬件平台

（一）猛狮智能车硬件平台

猛狮智能车是在李德毅教授的指导下，由清华大学和陆军军事交通学院合作设计和开发的。图6显示了猛狮智能车的外观，图7显示了猛狮智能车（猛狮3号）传感器部署，由5个雷达传感器、3个视觉传感器和一个集成的位置/姿态传感器组成。雷达传感器包括两个SICK雷达（型号为SICK®LM291-S05）、一个4线激光雷达（型号为Ibeo®LUX4L）、一个8线激光传感器（型号为Ibeo®LUX8L）和一个毫米波雷达（型号为Delphi®ESR）。视觉传感器由3个摄像机（型号为AVT®1394 Pike F-100C）组成，均匀地安装在前挡风玻璃后面。位置/姿态传感器由GPS和INS组成（型号为NovAtel®SPAN-CPT）。每个传感器的详细描述见表1。

图6 猛狮智能车的外观

图7 猛狮智能车的传感器部署

表1 猛狮智能车的传感器描述

中央控制器由IPC组成（包括英特尔酷睿i7-3520 M2.9 GHz处理器），软件开发环境是Visual Studio 2013。执行器包括转向系统、电子液压制动系统和电子油门控制系统。在原车转向系统的基础上，转向系统配备了一套独立的电动助力转向（EPS）系统。在原车液压制动系统的基础上，增加了一个电控液压制动系统和一个独立的电控液压系统。该系统与原液压管道串联，两个系统没有冲突。电子油门控制系统通过对原车电子油门的直接改造来运行，以实现车辆的发动机控制。执行器工作模式、通信接口、波特率和最小执行周期如表2所示。

表2 猛狮智能车的执行器描述

（二）猛狮智能车试验结果

上述硬件架构被应用于猛狮系列智能车，猛狮系列智能车参加了由中国国家自然科学基金委员会组织的第三届至第七届智能车未来挑战赛（IVFC）。猛狮系列智能车在第三届和第五届比赛中获得亚军，并在第四届、第六届和第七届比赛中获得冠军。

同时，2012年，基于驾驶脑硬件架构的“猛狮3号”智能驾驶车完成了从北京台湖收费站到天津东丽收费站共114 km的高速全程无人驾驶试验；2015年8月29日，基于驾驶脑架构的全球第一辆无人驾驶大客车完成了郑州至开封的开放道路无人驾驶测试，顺利到达终点，开启了大客车无人驾驶的新时代。

05

讨 论

在长期试验过程中，我们认识到传感器代替不了大脑，感知代替不了认知。无论传感器有多完善，甚至包括人的感官在内，都只是有限认知。只有代表脑认知的驾驶脑才是全局认知。驾驶脑的认知，不仅融合了感官信息，还融合了大脑中的先验知识和驾驶经验中的时空关联知识。同时，智能驾驶车辆智能决策也要由驾驶脑完成，而不能简单基于任何一路传感器。驾驶决策也不完全基于多路传感器形成的当前和历史驾驶态势，还应结合各种驾驶先验知识。

06

结 论

基于以驾驶脑为核心的智能驾驶车辆软件与硬件架构，决策模块将不直接与传感器信息处理模块发生关联。通过驾驶认知的形式化语言，将驾驶认知形式化，由驾驶脑认知形成决策。驾驶认知的形式化降低了传感器数量、类型、安装位置的变化对整个软件架构的影响，使得软件架构可以在不同传感器配置车辆平台上方便地移植。

改编原文：

Deyi Li,Hongbo Gao.A Hardware Platform Framework for an Intelligent Vehicle Based on a Driving Brain[J].Engineering,2018,4(4):464-470.

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”