Apollo无人驾驶系统基础入门（云服务+感知（一））

Apollo感知平台

Apollo无人驾驶系统

百度Apollo官方教程
总系统框架

云服务 cloud services

1. 高精度地图

高精度地图是Apollo无人驾驶车平台的核心，主要有两个作用。
1）定位：找出处在地球的哪一位置
2）预先规划

1. 1高精度地图vs传统地囤

HD map	传统地图
大量辅助信息（语义信息）
精度（厘米级）	精度（米级）

最重要的信息 道路网的精确三维表征（如：交叉路口布局和路标位）

1.2. OpenDRIVE

为确保系统兼容性和数据共享，Apollo高精度地图采用OpenDRIVE格式。OpenDRIVE就像一个API每个人都能轻松读取相同的地图数据。但同时对OpenDRIVE格式进行改进，进而产生Apollo OpenDRIVE标准。

1.3. HD map的构建

• 数据采集
• 数据处理
• 目标检测
• 手动验证
• 地图发布
  
  数据采集

使用近300辆Apollo调查车辆负责收集源数据。调查车辆搭载惯性测量单元、激光雷达、摄像机

数据处理
指如何对收集到的数据进行整理、分类、清洗已获得没有任何语义信息或注释的初始地图模板
目标检测
使用人工智能来检测静态对象，并对其进行分类

手动验证
可确保自动地图创建过程正确进行并及时发现问题

1.4. 定位

车辆即其传感器识别的地标与其在高精度地图上存在的地标进行对比，为进行对比必须能够在他自身坐标系和地图坐标系之间转换数据，然后系统必须在地图上以十厘米的精度确定车辆的精确位置。
方法归纳：

• **GNSSRTK:**三角测量，知道自己离三个地标的距离即可定位。
  
• **惯性导航:**使用初始速度、加速度计算在任何时间点的车速和位置。
  加速度测量：三轴加速计传感器
  坐标系转换：三轴陀螺仪传感器
• **激光雷达:**通过点云匹配来对汽车进行定位（点云数据与高精度地图连续匹配）
• **视觉定位:**使用粒子滤波方法匹配（同时使用车道线）
  Apollo定位是以上多种传感器融合的结果
  

需转换坐标系

2. 模拟仿真

3. 数据存储平台

Apollo感知平台简介

百度Apollo是基于lidar的

线上感知模块

Apollo 2.0感知模块包括障碍物检测识别和红绿灯检测识别两部分。
障碍物检测识别模块通过输入激光雷达点云数据和毫米波雷达数据，通过线下训练的卷积神经网络模型，学习点云特征并预测障碍物的相关属性（比如前景物体概率、相对于物体中心的偏移量、物体高度等），并根据这些属性进行障碍物分割。基于毫米波雷达数据的障碍物检测识别，主要用来对毫米波雷达原始数据进行处理而得到障碍物结果。该算法主要进行了ID扩展、噪点去除、检测结果构建以及ROI过滤。多传感器障碍物结果融合算法，用于将上述两种传感器的障碍物结果进行有效融合。该算法主要进行了单传感器结果和融合结果的管理、匹配以及基于卡尔曼滤波的障碍物速度融合。
红绿灯检测识别模块根据自身的位置查找地图，可以获得前方红绿灯的坐标位置。通过标定参数，可以将红绿灯从世界坐标系投影到图像坐标系，从而完成相机的自适应选择切换。选定相机后，在投影区域外选取一个较大的感兴趣区域，在其中运行红绿灯检测来获得精确的红绿灯框位置，并根据此红绿灯框的位置进行红绿灯的颜色识别，得到红绿灯当前的状态。得到单帧的红绿灯状态后，通过时序的滤波矫正算法进一步确认红绿灯的最终状态。我们提出的基于CNN的红绿灯的检测和识别算法具有极高的召回率和准确率，可以支持白天和夜晚的红绿灯检测识别。
Apollo有360度感知能力，其配备传感器如下：

• 前视摄像头2个（6mm 焦距1个，12mm焦距1个）
• 毫米波雷达（前向、后向）
• 激光雷达3个（128线1个，16线前后向各一个）

线下标定平台

Apollo提供云端的跨平台标定服务，使开发者无需在本地或车端配置运行标定程序

自动驾驶传感器标定(Calibration)是指利用传感器采集的数据计算各传感器的内参数(Intrinsic Parameters)以及多个传感器之间外参数(Extrinsic Parameters)的过程。传感器内外参的标定是各类多传感器信息融合算法的第一步。

在自动驾驶领域中，多线激光雷达与组合惯导是高精地图制作、激光点云定位以及点云物体检测任务中常用的传感器配置。因此精确标定两者之间的外参数具有非常重要的意义。除此以外，自动驾驶系统使用多传感器融合策略来提高感知性能。因此，相机与毫米波雷达的外参标定也至关重要。
感知模块github
标定平台github

Apollo源码基础知识（perception）

输入input：

• 图像数据（from_6mm和from_12mm）
• Lidar数据（velodyne 128和lidar_front, lidar_rear_left, lidar_rear_right）
• Rader数据（radar_front, radar_rear）
• radar校准数据（来自yaml文件）
• front camera校准数据（来自yaml文件）
• 车辆速度和角速度

输出output：

1）对象输出
a. 3D长方体
b. 相对速度和方向
c. 类型：CIPV, PIHP, 其他
d. 分类：汽车、卡车、自行车、行人
e. Drops: 物体的轨迹
2）车道线输出
a. 折线和/多项式曲线
b. 车道类型按位置：L1（左下车道线），L0（左车道线），R0（右车道线），R1（右下车道线）
3）红绿灯输出