Apollo笔记:感知

感知概貌

  • 感知是机器人学科的问题,机器人要向人类驾驶员学习,但又不必要完全模仿,扬长避短;
  • 感知模块
    • 小感知:检测,(语义)分割,(属性)识别,跟踪,融合
    • 大感知:标定,定位,障碍物行为预测
  • 多维度看感知问题,体会复杂性
    • sensor维度(Input):Lidar、Camera、Radar、Ultrosonic、高精地图......
    • Target维度(Output):障碍物、车道线和道路边界、红绿灯......
    • 问题空间维度:2D算法、3D算法;静态帧检测、时序处理......
    • 机器视觉维度:模型计算(high-level)、几何计算(low-level);
    • 机器学习维度:深度学习(数据驱动)、后处理(启发式)......
    • 系统维度:硬件(sensor和setup,计算资源)、软件

 

传感器和标定

Lidar

基本上采用的是64线激光雷达

优点:

  1. 测距精度非常高,可以达到厘米级别;
  2. 自带光源,不受白天夜晚的环境条件限制。

缺点:

  1. 64线扫描距离比较远的物体时会比较稀疏,无法识别远处的物体;
  2. 激光雷达想要发射的更远发射的功率就越大,否则会在空间中衰减掉,但由于出于激光对人眼安全的考虑,它有一个功率限制,因此感知范围有限,大概六七十米左右。

Camera

优点:

  1. 比较稠密的感知,基本能看清图像中的细节;
  2. 可以感知的范围比较远,通过配置不同的焦距可以看到几百米以外的物体。

缺点:

  1. 易受光线环境的影响;
  2. 由于是单目相机,无法获知深度信息。

Radar(毫米波雷达)

与激光雷达类似,但是发射的不是激光而是毫米波,是主动式的感知,不受光照的影响,可以通过多普勒效应测汽车与障碍物的相对速度。

优点:

  1. 测距测速都比较准;

缺点

  1. 噪点比较多,
  2. 对非金属材质的召回比较低,
  3. 非常稀疏,无法做识别

Ultrosonic(超声波)

优点:

  1. 近距离测距;

缺点:

  1. 感知范围有限;
  2. 只能在低速环境中做感知。

 


传感器的安装

Apollo笔记:感知_第1张图片

 

传感器的标定

传感器的标定问题:讲不通传感器的数据在同一个坐标系里表示。

  • 内参:传感器自身性质,例如camera焦距,Lidar中各激光管的垂直朝向角;
  • 外参:传感器之间的相对位置和朝向,用3自由度的旋转矩阵和3自由度的平移向量表示。

 

感知算法

Lidar感知(检测)

  • 启发式方法:Ncut
  • DL方法:CNNSeg

视觉感知(全面)

  • DL检测和分割
  • 跟踪,2d-to-3d,多相机融合
  • 红绿灯(感知与地图交互)

Radar感知(检测)

Ultrosonic感知(检测)

 

感知算法:点云感知

点云感知的核心任务是感知障碍物

启发式方法:NCut

算法思路

  • 基于空间平滑性假设:空间上接近的点来自同一个障碍物
  • 基于点云构建Graph,G=(V,E,W),
  • 把点云检测问题建模成Graph分割问题,一个cluster(Graph分割成一个个小Graph称为cluster)是一个障碍物
  • 预处理(ROI过滤,去地面)和后处理(异常过滤)

基于Graph的聚类,是一个经典问题,也是经典谱聚类问题;有很多衍生算法;

优点:解释性好;

缺点:分割规则过于简单,难以应对实际情况;缺乏语义信息。

深度学习算法:CNNSeg

感知算法:视觉感知

历史悠久

  • 从视觉ADAS发展而来(Mobileye99年成立)
  • 算法轻量级:人工构造特征+浅层分类器;low-level视觉算法
  • 已形成应用闭环(车厂+视觉感知供应商)

视觉感知for自动驾驶是一个新事物,深度学习扮演重要角色

  • “深度学习+后处理计算”的技术路线
  • 计算硬件的升级
  • 数据需求量大增
  • 如何评估保证安全

算法特点

  • 2D感知向3D感知渗透,模型输出更丰富
  • 环视能力构建,不仅仅是前向
  • 感知+定位+地图紧紧结合

 

感知算法:CNN检测

CNN检测:深度学习里一个火热的topic

  • AlexNet、VggNet、ResNet...
  • 参考Kaiming He的系列工作

CV里的检测->AD里的检测

  • 第一视觉和结构化道路约束
  • 不仅仅输出2D BBox,局部End-to-End
    • 3D信息,时序稳定性
  • 多任务学习,网络结构适配
    • 障碍物,车道线,道路边界,定位元素
  • 属性识别:车尾灯,车门关闭

 

感知算法:后处理计算

2D-3D的几何计算

  • 相机pose的影响
  • 接地点,2D框,绝对尺寸多条途径回3D
  • 稳定性至关重要

时序信息计算:跟踪

  • 对相机帧率和延时有要求
  • 充分利用检测模型的输出信息:特征、分类
  • 可以考虑轻量级Metric Learning

多相机环视融合

  • 相机布局决定融合策略

 

感知算法:红绿灯

任务描述:距离停止线50~-2m,精确识别红绿灯亮灯状态。

难点:

  1. 绿灯准确率高(3个9)否则闯红灯,召回影响通过率和体验
  2. 各种环境都work(光照和天气)
  3. 各种制式红绿灯都可识别(距离,高度,纵横,信号形状,频闪)

技术路径

sensor选型和setup,获取最大可视范围

  • High-Dynamic Range(HDR)高动态比大于100dB,1080p
  • 双camera,长短焦切换,6mm+25mm

高精地图交互,增加在线识别鲁棒性

  • 地图提供灯组3D坐标和交通含义
  • 只看ROI区域,避免形状识别

深度学习,应对apperance变化

  • 检测:灯组/灯头在哪?
  • 分类:什么颜色?

 

感知算法:Ultrosonic感知

主要用在倒车和特别近距离的感知,对自动驾驶来说用处并不大。


 

感知中的机器学习

  • 不同于一般的机器学习应用,对准、召、延时要求极其严格
  • 如何应对corner case?
    • 训练和测试的独立同分布
    • 训练时封闭集,测试是开放集
  • 可解释性是否需要?
    • 如何评估模型?如何回归测试?如何得到使用边界?
  • 不仅仅是深度学习
    • 还需要其他非机器学习方法,如何融合两种方法?
    • 也需要其他机器学习方法
  • 有监督学习可以走多远?
    • 与人的学习能力相比,光靠有监督学习还太弱了

 

感知的未来

  • Sensor迭代非常快
  • 深度学习+仿真数据+车载AI芯片
  • 智能交通设施,V2X普及
  • 人工智能技术进一步提升

 

你可能感兴趣的:(ROS)