baidu进阶训练笔记三20200721

进阶版第五课 Apollo硬件开发平台介绍

1.自动驾驶的研发流程：

• 软件在环：基于仿真和模拟的软件仿真——是在软件系统里仿真模拟出真实的道路环境如光照、天气等自然环境，开发者可将自动驾驶代码开发完毕后，在仿真系统内运行，测试是否可以实现目标。

• 硬件在环：基于必要的硬件平台。在第一步的软件仿真结束后，将所有的仿真结果与传感器、计算单元集合在一起，在硬件环境里测试。

• 车辆在环：基于车辆执行。在一个封闭环境中测试开发者所开发功能，封闭环境中安全而且不会有交通流的干扰。

• 司机在环：基于实际道路。在第三步测试成功后进入到司机在环，司机在环主要是研究人—车—路—交通四者之间的相互作用，它不仅测试自动驾驶的程序代码，还能获得专业司机的评判。

2.自动驾驶分为三大系统：感知、决策和控制

每个系统里有对应的硬件系统。

• 感知系统分为汽车运动、环境感知和驾驶员监测
  • 车辆运动主要是汽车定位、定姿的一些传感器
  • 环境感知主要分为激光雷达、超声波、摄像头、毫米波雷达、V2X。
  • 驾驶员监测主要分为摄像头（是否分神）和生物电传感（判断驾驶员手是否脱离方向盘）。
• 计算单元主要是自动驾驶感知决策控制的一些算法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rBFtGOG3-1595334392739)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721172324263.png)]

• 决策系统分为计算单元、T-BOX和黑匣子三部分。
  • 计算单元里是自动驾驶感知决策控制的算法。目前自动驾驶用的是X86结构的服务器或工控机。
  • T-BOX即Telematics BOX，是车联网的通讯网关，它上接互联网下接CAN总线。例如手机上APP发送的开关门指令，都是通过T-BOX网关将操作指令发送到CAN总线来进行操控的。
  • 黑匣子是用来记录无人驾驶过程中所有的信息和状态。
• 控制系统部分分为车辆控制和警告系统。
  • 车辆控制主要分为制动、转向、发动机和变速箱。
  • 警告系统主要分为声音、图像和震动 。

3.自动驾驶汽车的传感器

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dbHvEfo2-1595334392744)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721173151520.png)]

摄像头

主要是用于车道线、交通标识牌、红绿灯、车辆和行人的检测。

优点：检测信息全面且价格便宜

缺点：性能受天气影响较大。

摄像头核心由镜头、镜头的模组、滤光片、CMOS/CCD、ISP和数据传输这几部分组成。摄像头分为单目和双目。

• 单目摄像头原理：光线通过摄像头前面的镜头和滤光片聚焦到后面的CMOS的Sensor上，Sensor将光信号进行曝光转化成电信号，然后通过ISP图像处理器转化成标准的RGB或者YUV的数据格式，最后传输到后端的计算机进行处理。

• 双目摄像头原理：通过两个图像之间的视觉差计算，不需要判断障碍物的类型，对于任意的障碍物都能提出警告与标识

激光雷达

核心原理是TOF(Time of Flight)，即一束光射出后碰到障碍物后，光会发生回波，并在APD上进行接收和计算光折返的距离。

根据扫描原理激光雷达可以分为

• 同轴旋转
• 棱镜旋转
• MEMS
• OPA相控阵
• Flash

激光雷达不光是用于感知，地图类的测绘和定位也会使用到需要它。

毫米波雷达

主要用于交通车辆的检测。毫米波雷达主要是由射频天线、芯片和算法组成

基本原理是发射一束电磁波，然后观察电磁波回波的摄入差异来计算距离和速度。

优点：检测速度快且较准确，不受天气情况干扰

缺点：不能对车道线进行识别检测

组合导航

通过GNSS板卡接收所有可见的GPS卫星信号并进行计算，从而得出被检物体在大地坐标系中的空间位置

当车辆通过隧道、有建筑物群和树荫遮挡等路段时，GPS信号会产生遮挡不能提供很好的结算和实时导航，所以这种情况下需要融合惯性导航的信息

优点：惯性导航是一个完全封闭的系统，不受外界影响，可以直接给出车身的位置、速度和姿态。

自动驾驶汽车传感器的安装位置：

• 激光雷达是360°旋转的，所以它都是安装在车顶

• 毫米波雷达的指向性很强，所以的它一般安装在前后保险杠上

• 考虑到车身在道路上的俯仰和姿态的干扰，所以组合导航系统一般是安装在两个后车轮的中轴线上

• 车身的360°都会安装摄像头

自动驾驶汽车传感器的应用范围：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mKHDZOqu-1595334392749)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721174538999.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SKO8HZ87-1595334392753)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721174823079.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ivqRIUl6-1595334392756)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721175126200.png)]

• 在0.4°这个分辨率之下，在100米外就可以检测到一个人、车或骑行者

• 在0.1°这个分辨率之下，在400米外就可以检测到一个人、车或骑行者

但是能检测到并不意味着自动驾驶系统能识别出来，只有一条线的这种成像或者低分辨率的成像，自动驾驶还是识别不了。

Apollo平台——在同一车上用激光雷达4到5根线成像对障碍物分类

Velodyne 64线的激光雷达，0.4°分辨率下，物体感知距离是50米

未来智能驾驶传感器发展趋势：

多传感器的融合

激光雷达和摄像头都属于光学类的传感器，它们核心零部件和处理电路很相似，未来有可能将激光雷达和摄像头前端融合到一起，直接输出RGB、XYZ融合后的颜色加点云信息，然后传输到后端的计算来进行处理

4.自动驾驶汽车的计算单元

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-68CAPAiF-1595334392760)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721175832703.png)]

• 考量整体的车规：电磁干扰、振动
• 考虑ISO262的要求——所有的CPU、GPU、FPGA、MCU和总线都要做冗余设计，以防止单点故障

MCU作用：当整体系统失效时，MCU会最后发送一些操作，例如刹车的指令到can总线中，让车靠边停车或者刹停

• 目前计算单元都是集中式的架构，即将所有的计算工作都放到一个工控机当中

  • 缺点：体积大、功耗高，不适应未来的量产
  • 优点：方便代码的快速迭代，工控机卡槽的设计方便硬件更新和扩展

• 未来将会考虑嵌入式的方案。将各传感器的原始数据先融合到一个Sensor Box中，在其中完成数据融合， 然后将融合后的数据给到后端计算平台处理。

Sensor Box作用：目前所用传感器给出的原始数据该如何判断融合完成后是否是判断同一个目标，需要有一个时间戳同步，保证这个时间戳下每个传感器探测的都是同一个坐标系

在Sensor Box中完成时间戳的同步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AyJ6SK4r-1595334392763)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721180945845.png)]

芯片的设计流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9Ka19f8x-1595334392766)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721181229992.png)]

• 芯片设计
• 芯片制造
• 芯片封装

现在整个半导体产业正在从深紫外（DOV）向极紫外（EUV）发展。

半导体正步入7纳米时代，新工艺对性能带来很大提升。对比16纳米工艺，7纳米工艺可提升40%性能，节省60%能耗。

5.自动驾驶汽车的线控系统

• 自动驾驶线控系统（control by wire）指的是汽车的控制是由一些简单命令完成的，而不是由物理操作完成的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p3bgZfMD-1595334392770)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721181532834.png)]

• 线控部分相当于人的手和脚，在线控系统里执行上端的命令。主要分为三大部分：减速控制、转向控制和加速控制。

• 传统汽车的这些控制由液压系统和真空助力泵协助完成，自动驾驶汽车的线控需要用电控化的零部件来完成，如电子液压制动系统（EHB）

• MK C1集成液压和制动的模块，利用紧凑且轻重量的设计节省制动单元，通过电信号发出的制动信号也使制动距离更短。

• 当MK C1失效时，由MK100系统接管

• 目前很多自动驾驶车都使用EPS（电子助力转向系统）。EPS直接使用转向管柱与下面的齿条相结合，没有采用电控制。

• 线控油门是对自动驾驶车辆加速度的控制，减速刹车踏板上有位置传感器可检测到刹车深浅度，该传感器传送指令到EMS（发动机制动系统）后，气门进气量越多，加速度即越快。

• 自动驾驶汽车目前大多是新能源车，新能源车通过驱动电机的扭力控制来完成对加速度的控制，从整个线控化来看，分为三个阶段：

  • 1.0版：对原车的方向盘踏板进行改装，将一些转向管柱截断后，加装转向电机，通过控制电机进行转向，缺点是未经过原车系统测试验证，存在安全隐患。
  • 2.0版：基于原车的辅助驾驶系统，对Can总线协议进行破解，通过原车总线指令控制车的转向和制动。
  • 3.0版：从车底盘开始开发的一套系统，转向线控完全按照自动驾驶需求定制，与2.0的区别在于考虑到冗余和备份的需求。

6.Apollo硬件开发平台

• Apollo平台认证是指百度目前正在使用的传感器经认证后公布出来。例如Velodyne 64线激光雷达就属于Apollo平台认证产品，会基于正在使用的传感器提供数据集。

• Apollo硬件开发平台认证，则是在Apollo代码层面进行验证，如感知模块的数据化采集标注和模型的训练的额外工作

• 传感器单元（Sensor Box）将所有的传感器信息融合到传感器单元中，完成整个时间戳的对准，将前处理的数据传输到后端的工控机计算单元上进行处理

• Apollo开发平台中，还有HAL硬件抽象层，这为了防止单一硬件短路而导致整个系统硬件内核崩溃的中间开发层。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8HQP7yNT-1595334392772)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721182658582.png)]

HAL硬件抽象层——为了防止单一硬件短路而导致整个系统硬件内核崩溃的中间开发层。

7.自动驾驶产业图谱

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FtgDKCHg-1595334392777)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200721182825968.png)]

• 自动驾驶产业是汽车新能源、IT、交通通讯、半导体人工智能、移动互联网等多个10万规模产业亿聚的大型聚合产业。

• 自动驾驶汽车是物质流、能量流、信息流的聚合体，需要软硬件行业的深度整合和合作才能保证自动驾驶产业的成功落地。