Apollo 星火计划课程笔记 ---- Perception

Apollo Perception

在这里插入图片描述

感知系统:

传感器: Lidar, Camera, Radar, Ultrasonic, Phone

地图: 高精地图

机器输出:

  • 道路信息:不强求在线识别,可以来自高精地图;场景理解,分割;
  • 障碍物信息:障碍物检测(位置,类别,形状大小),障碍物跟踪(轨迹,速度),传感器融合(更安全)
  • 信号灯信息: camera识别颜色,其他信息来自地图;v2x是终极途径。

Part-1 多个维度看问题

  • 感知技术模块:

    • 大感知: 标定,定位,障碍物行为预测
    • 小感知: 检测,(语义)分割,(属性)识别,跟踪,融合
  • 多维度看感知问题:

    • Sensor维度(Input): Lidar, Camera, Radar 高精地图等
    • Target维度(Output): 障碍物,车道线,道路边界,红绿灯等
    • 问题空间维度:2D算法,3D算法,静态帧检测,时序处理
    • 机器视觉维度:模型计算,几何计算
    • 机器学习维度:深度学习(数据驱动),后处理(启发式)
    • 系统维度: 硬件,软件

    点云障碍物感知: 障碍物的(位置,大小), 类别,朝向,轨迹,速度
    点云检测(分割)技术

Part-3 感知算法


启发式方法:NCut

  • 算法思路
    • 给予空间平滑性假设,空间上接近的点来自于同一个障碍物
    • 基于点云构建Graph, G=(V,E,W),
    • 把点云检测问题建模成Graph分割问题,一个Cluster是一个障碍物
    • 预处理(ROI过滤,去地面)和后处理(异常过滤)
  • 基于Graph的聚类,是一个经典问题,也是经典谱聚类问题;有很多衍生算法

优点: 解释性好
缺点: 鲁棒性差


深度学习方法:
CNNSeg

  • 把点云投影到Front View(Cylinder View)
  • 用全卷积神经网络(FCN)做检测

在这里插入图片描述

MV3D

  • 把雷达的测距准和Camera识别准结合起来做Middle-Level Fusion

在这里插入图片描述


后处理计算

  • 2D-to-3D的计算
    • 相机POSE的影响
    • 接地点,2D框,绝对尺寸多条路径回3D
    • 稳定性至关重要
  • 时序信息计算:跟踪
    • 对相机帧率和延时有要求
    • 充分利用检测模型的输出信息:特征, 类别
    • 可以考虑轻量级Metric Learning
  • 多相机环视融合
    • 相机布局决定融合策略
  • 几何计算+时序计算+环视融合,密不可分

红绿灯检测
难点:

  • 绿灯准确度搞(3个9)否则闯灯,召回影响通过率和体验
  • 各种环境都work(光照和天气)
  • 各种制式红绿灯都可识别(距离,高度,纵横,信号形状,频闪)

技术途径:

  • Sensor选项和setup,获取最大可视范围
    • High-Dynamic Range(HDR)大于100dB,1080P
    • 双camera, 长短焦切换, 6mm+12mm
  • 高精地图交互,增加在线识别鲁棒性
    • 地图提供灯组3D坐标和交通含义
    • 只看RoI区域,避免形状识别
  • 深度学习,应对appearance变化
    • 检测:灯组/灯头在哪
    • 分类:什么颜色?

在这里插入图片描述

Part-4 感知中的机器学习

不同一般的机器学习应用,对准、召、延时要求极其严格

  • 如何应对corner case?
    • 训练和测试的独立同分布
    • 训练时封闭的,测试是开放集
  • 可解释性是否需要?
    • 如何评估模型?如何回归测试?如何得到使用边界?
  • 不仅仅是深度学习
    • 还需要其他非机器学习方法,如何融合两种方法?
    • 也需要其他机器学习方法
  • 有监督学习可以走多远?

Part-5 感知的未来

  • Sensor迭代非常快
  • 深度学习+仿真数据+车载AI芯片
  • 智能交通设施,V2X普及
  • 人工智能技术进一步提升

目录

  1. 感知技术综述
  2. 感知业务线划分和Apollo感知模块基础设施
  3. 未来

1. 感知技术综述

在这里插入图片描述

外参数标定

传感器不同位置,有相对位置的,就是计算两两设备的位姿态变换矩阵

离线标定基本策略:

LIDAR-IMU-Camera策略

  • Lidar–>IMU, 两条位姿曲线的优化

Camera-Camera

在这里插入图片描述

在这里插入图片描述

2. 感知业务线划分和Apollo感知模块基础设施

在这里插入图片描述

通过Driver,获取数据。进行预处理,主要做一些数据补偿。然后优化和编码。紧接着就是Inference,最后发结果给tracker。

第一个例子:
在这里插入图片描述

第二个例子:

在这里插入图片描述

第三个例子:

在这里插入图片描述

3. 未来

  1. 自监督技术数据扩展数据集
  2. Attention(ViT)

在这里插入图片描述

你可能感兴趣的:(Apollo,自动驾驶,人工智能)