Apollo笔记：感知

感知概貌

• 感知是机器人学科的问题，机器人要向人类驾驶员学习，但又不必要完全模仿，扬长避短；
• 感知模块
  • 小感知：检测，（语义）分割，（属性）识别，跟踪，融合
  • 大感知：标定，定位，障碍物行为预测
• 多维度看感知问题，体会复杂性
  • sensor维度（Input）：Lidar、Camera、Radar、Ultrosonic、高精地图......
  • Target维度（Output）:障碍物、车道线和道路边界、红绿灯......
  • 问题空间维度：2D算法、3D算法；静态帧检测、时序处理......
  • 机器视觉维度：模型计算（high-level）、几何计算（low-level）;
  • 机器学习维度：深度学习（数据驱动）、后处理（启发式）......
  • 系统维度：硬件（sensor和setup，计算资源）、软件

---

 

传感器和标定

Lidar

基本上采用的是64线激光雷达

优点：

1. 测距精度非常高，可以达到厘米级别；
2. 自带光源，不受白天夜晚的环境条件限制。

缺点：

1. 64线扫描距离比较远的物体时会比较稀疏，无法识别远处的物体；
2. 激光雷达想要发射的更远发射的功率就越大，否则会在空间中衰减掉，但由于出于激光对人眼安全的考虑，它有一个功率限制，因此感知范围有限，大概六七十米左右。

Camera

优点：

1. 比较稠密的感知，基本能看清图像中的细节；
2. 可以感知的范围比较远，通过配置不同的焦距可以看到几百米以外的物体。

缺点：

1. 易受光线环境的影响；
2. 由于是单目相机，无法获知深度信息。

Radar（毫米波雷达）

与激光雷达类似，但是发射的不是激光而是毫米波，是主动式的感知，不受光照的影响，可以通过多普勒效应测汽车与障碍物的相对速度。

优点：

1. 测距测速都比较准；

缺点

1. 噪点比较多，
2. 对非金属材质的召回比较低，
3. 非常稀疏，无法做识别

Ultrosonic（超声波）

优点：

1. 近距离测距；

缺点：

1. 感知范围有限；
2. 只能在低速环境中做感知。

 

---

传感器的安装

 

传感器的标定

传感器的标定问题：讲不通传感器的数据在同一个坐标系里表示。

• 内参：传感器自身性质，例如camera焦距，Lidar中各激光管的垂直朝向角；
• 外参：传感器之间的相对位置和朝向，用3自由度的旋转矩阵和3自由度的平移向量表示。

---

 

感知算法

Lidar感知（检测）

• 启发式方法：Ncut
• DL方法：CNNSeg

视觉感知（全面）

• DL检测和分割
• 跟踪，2d-to-3d，多相机融合
• 红绿灯（感知与地图交互）

Radar感知（检测）

Ultrosonic感知（检测）

 

感知算法：点云感知

点云感知的核心任务是感知障碍物。

启发式方法：NCut

算法思路

• 基于空间平滑性假设：空间上接近的点来自同一个障碍物
• 基于点云构建Graph，G=(V,E,W)，
• 把点云检测问题建模成Graph分割问题，一个cluster（Graph分割成一个个小Graph称为cluster）是一个障碍物
• 预处理（ROI过滤，去地面）和后处理（异常过滤）

基于Graph的聚类，是一个经典问题，也是经典谱聚类问题；有很多衍生算法；

优点：解释性好；

缺点：分割规则过于简单，难以应对实际情况；缺乏语义信息。

深度学习算法：CNNSeg

感知算法：视觉感知

历史悠久

• 从视觉ADAS发展而来（Mobileye99年成立）
• 算法轻量级：人工构造特征+浅层分类器；low-level视觉算法
• 已形成应用闭环（车厂+视觉感知供应商）

视觉感知for自动驾驶是一个新事物，深度学习扮演重要角色

• “深度学习+后处理计算”的技术路线
• 计算硬件的升级
• 数据需求量大增
• 如何评估保证安全

算法特点

• 2D感知向3D感知渗透，模型输出更丰富
• 环视能力构建，不仅仅是前向
• 感知+定位+地图紧紧结合

 

感知算法：CNN检测

CNN检测：深度学习里一个火热的topic

• AlexNet、VggNet、ResNet...
• 参考Kaiming He的系列工作

CV里的检测->AD里的检测

• 第一视觉和结构化道路约束
• 不仅仅输出2D BBox，局部End-to-End
  • 3D信息，时序稳定性
• 多任务学习，网络结构适配
  • 障碍物，车道线，道路边界，定位元素
• 属性识别：车尾灯，车门关闭

 

感知算法：后处理计算

2D-3D的几何计算

• 相机pose的影响
• 接地点，2D框，绝对尺寸多条途径回3D
• 稳定性至关重要

时序信息计算：跟踪

• 对相机帧率和延时有要求
• 充分利用检测模型的输出信息：特征、分类
• 可以考虑轻量级Metric Learning

多相机环视融合

• 相机布局决定融合策略

 

感知算法：红绿灯

任务描述：距离停止线50~-2m，精确识别红绿灯亮灯状态。

难点：

1. 绿灯准确率高（3个9）否则闯红灯，召回影响通过率和体验
2. 各种环境都work(光照和天气)
3. 各种制式红绿灯都可识别（距离，高度，纵横，信号形状，频闪）

技术路径

sensor选型和setup，获取最大可视范围

• High-Dynamic Range（HDR）高动态比大于100dB，1080p
• 双camera，长短焦切换，6mm+25mm

高精地图交互，增加在线识别鲁棒性

• 地图提供灯组3D坐标和交通含义
• 只看ROI区域，避免形状识别

深度学习，应对apperance变化

• 检测：灯组/灯头在哪?
• 分类：什么颜色？

 

感知算法：Ultrosonic感知

主要用在倒车和特别近距离的感知，对自动驾驶来说用处并不大。

---

 

感知中的机器学习

• 不同于一般的机器学习应用，对准、召、延时要求极其严格
• 如何应对corner case?
  • 训练和测试的独立同分布
  • 训练时封闭集，测试是开放集
• 可解释性是否需要？
  • 如何评估模型？如何回归测试？如何得到使用边界？
• 不仅仅是深度学习
  • 还需要其他非机器学习方法，如何融合两种方法？
  • 也需要其他机器学习方法
• 有监督学习可以走多远？
  • 与人的学习能力相比，光靠有监督学习还太弱了

---

 

感知的未来

• Sensor迭代非常快
• 深度学习+仿真数据+车载AI芯片
• 智能交通设施，V2X普及
• 人工智能技术进一步提升