无人驾驶:无人驾驶感知技术及应用

目录

  • 无人驾驶简介
    • 自动驾驶能力等级
    • 无人驾驶 - 架构
    • 无人驾驶 - 线上流程
    • 高精地图与定位
  • 感知简介
    • 激光雷达
    • 传感器数据
    • 业界现状
    • 感知任务
  • 障碍物感知
    • 激光障碍物感知 - 预处理
    • 激光障碍物检测 - 规则方法 (Rule-based method)
    • 激光障碍物检测 - 深度学习算法
    • 激光障碍物分类
    • 激光障碍物跟踪
    • 视觉障碍物感知
    • 障碍物融合感知
  • 场景感知
    • 场景感知 - 施工区域
    • 场景感知 - 水坑识别
    • 场景感知 - 天气识别
    • 场景感知 - 车道线检测
  • 信号灯感知
    • 一种固定信号灯识别的流程
    • 移动红绿灯识别
    • Corner case
  • 无人驾驶感知 - 参考材料

无人驾驶简介

自动驾驶能力等级

自动驾驶等级 定义
L0 – No automation 车辆行为完全由人控制,系统可以提供预警提示类的 ADAS 功能,包括车道偏离预警,前撞预警等,并无主动干预功能
L1 – Driver assistance 驾驶辅助,人操控车辆,但是系统可以调整车辆速度和方向。包括自适应巡航,车道保持,紧急刹车等功能
L2 – Partial automation 部分自动驾驶,具备自动加速,自动刹车,自动转向能力,系统具备自主驾驶功能,但是监控任务依然需要人来主导,紧急情况下需要人工介入
L3 – Conditional automation 有条件的自动驾驶,指在限定区域或限定环境下,可以实现车辆完全感知环境,并进行自主决策控制。不过在紧急情况下,系统可以主动寻求人工介入
L4 – Full automation 全自动驾驶,不需要人工驾驶员,不需要人工介入,不限定场景和运行环境

无人驾驶 - 架构

无人驾驶:无人驾驶感知技术及应用_第1张图片

GNSS + IMU:组合导航

无人驾驶 - 线上流程

  • 确认起点/终点,规划路线
  • Where Am I (HD map & Localization):不定期确认当前位置,按路线行驶
    无人驾驶:无人驾驶感知技术及应用_第2张图片
  • What’s Around Me (Perception):观察自车周围环境信息
    无人驾驶:无人驾驶感知技术及应用_第3张图片
  • Where Will Happen (Prediction):预测其它交通参与物行为(并线/超车/行人横穿等)
    无人驾驶:无人驾驶感知技术及应用_第4张图片
  • What Should I Do (Planning & Control):决策本车行为(加减速/绕行等)并实施

高精地图与定位

无人驾驶:无人驾驶感知技术及应用_第5张图片无人驾驶:无人驾驶感知技术及应用_第6张图片

感知简介

  • :通过主动/被动式传感器,接收原始的环境信息
  • :对接收的信息进行处理,得到属性和关系构成的整体

无人驾驶:无人驾驶感知技术及应用_第7张图片

激光雷达

  • Velodyne - 32 线激光雷达32 线代表激光雷达从上到下同步发射 32 条激光,利用 TOF (time of flight) 原理进行测距;角分辨率 0.2 度 表示激光雷达每转 0.2 度就发射一次激光
    无人驾驶:无人驾驶感知技术及应用_第8张图片
  • Velodyne - 32 线激光数据可视化示例
    无人驾驶:无人驾驶感知技术及应用_第9张图片

传感器数据

  • 激光数据 (Point Cloud)3D 信息精确感知,但成本高易受噪点干扰,稀疏小目标易遗漏,识别能力弱 (在雨雪雾等极端天气下性能较差,不能全天侯工作)
    无人驾驶:无人驾驶感知技术及应用_第10张图片
  • 图像数据 (Pixel):被动传感器,受光照影响大,3D 功能弱
    无人驾驶:无人驾驶感知技术及应用_第11张图片
  • 毫米波雷达数据:毫米波抗干扰能力强,可以全天候工作,且测距,测速能力强,但高度信息缺失 (相比激光雷达,测距范围更远但测距精度更差)

业界现状

Top-down 全自动驾驶 (L4)

无人驾驶:无人驾驶感知技术及应用_第12张图片无人驾驶:无人驾驶感知技术及应用_第13张图片

  • 特点:重激光雷达,多传感器融合
  • 优点:感知能力强,计算资源大
  • 不足:传感器成本高,数据扩展慢

Bottom-up 渐进式自动驾驶 (L2 ~ L3)

无人驾驶:无人驾驶感知技术及应用_第14张图片
无人驾驶:无人驾驶感知技术及应用_第15张图片

  • 特点:传感器受限辅助驾驶,人机结合
  • 优点:成本受控,规模化应用,数据扩展快
  • 不足:感知能力相对弱

感知任务

  • 障碍物感知:障碍物 3D 空间信息(位置,尺寸)+ 属性信息(速度,类型,状态)
    无人驾驶:无人驾驶感知技术及应用_第16张图片
  • 场景理解:场景语义信息
    无人驾驶:无人驾驶感知技术及应用_第17张图片
  • 信号灯识别 / 交通标识感知:红绿灯的状态信息(红/黄/绿/坏/黄闪/数字等)
    无人驾驶:无人驾驶感知技术及应用_第18张图片

障碍物感知

  • 任务目标:给出周围环境中的目标信息,包括空间位置/尺寸/朝向/速度/类型以及其它有用的属性

一种障碍物感知框架图

无人驾驶:无人驾驶感知技术及应用_第19张图片

激光障碍物感知 - 预处理

ROI (Region of Interest ) filter: 感兴趣区域滤波

  • 通过规则 / 先验知识去除非相关信息,提升处理效率 / 改进感知效果 (如下图所示,滤除了路边无关的点云信息)
    无人驾驶:无人驾驶感知技术及应用_第20张图片

地面分割

  • 区分地面点和非地面点 (基本原理: (局部)平面假设高度先验)
    无人驾驶:无人驾驶感知技术及应用_第21张图片
  • 平面栅格法:1) 将 X-Y 平面划分为多个栅格(grid),点云投影到对应栅格中;2) 计算每个栅格中 3D 点集的 z z z 坐标统计值,如平均值,方差,偏差(高度差);3) 基于统计值和预先设置的 threshold 来判定实现栅格的地面/非地面二分类
    • 优势:利用点云高度的统计特性,简单/直观
    • 劣势:倾斜坡面难以处理,远距离栅格点较少统计特性不够稳定
  • 模型拟合法平面拟合 - RANSAC 法:随机选择 3 个点迭代,求解平面方程 A x + B Y + C Z + D = 0 Ax+BY+CZ+D=0 Ax+BY+CZ+D=0,把所有点依次代入该平面方程内,计算该平面的内点个数 (设定一个阈值,点到平面的距离小于阈值就认为该点为内点);迭代中内点最多的平面即为最优平面,该平面的内点即为地面点,外点即为非地面点 (Fast segmentation of 3D point clouds: A paradigm on LiDAR data for autonomous vehicle applications)
    • 优势:可以找到倾斜地面
    • 劣势:平面不等于地面,未利用场景先验,计算复杂
  • 面元网格法:1) 选择种子点(高度/曲率/法向量);2)区域增长,评测种子点和领域点的局部结构(高度差/水平偏角/法向量偏差)等,满足条件的领域点扩展进入地面点候选;3)重复生长得到局部地面集合,对局部地面集合做平面拟合和矫正,得到精细地面点集
    • 优势:利用局部几何结构,可以得到多个局部地平面
    • 劣势:计算复杂

激光障碍物检测 - 规则方法 (Rule-based method)

  • Rule based detector:对前处理后的点基于点云的密度/空间距离做聚类 (k-means, mean-shift, dbscan),得到障碍物 candidate
    无人驾驶:无人驾驶感知技术及应用_第22张图片

激光障碍物检测 - 深度学习算法

Voxelnet: End-to-end learning for point cloud based 3d object detection

无人驾驶:无人驾驶感知技术及应用_第23张图片无人驾驶:无人驾驶感知技术及应用_第24张图片无人驾驶:无人驾驶感知技术及应用_第25张图片


Deep Learning for 3D Point Clouds: A Survey

无人驾驶:无人驾驶感知技术及应用_第26张图片

激光障碍物分类

Pointnet: Deep learning on point sets for 3d classification and segmentation

无人驾驶:无人驾驶感知技术及应用_第27张图片

激光障碍物跟踪

  • 多目标跟踪:同时保持对多个目标的追踪,实现目标时序运动状态信息的刻画
    无人驾驶:无人驾驶感知技术及应用_第28张图片
  • 多目标关联:两帧:Hungarian algorithom;多帧:Multiple-hypothesis tracking (An algorithm for tracking multiple targets. Tracking and data association.)
    无人驾驶:无人驾驶感知技术及应用_第29张图片
  • 状态估计与更新Kalman filter:A new approach to linear filtering and prediction problems
    无人驾驶:无人驾驶感知技术及应用_第30张图片在这里插入图片描述

视觉障碍物感知

  • Object detection:Object Detection in 20 Years: A Survey
    无人驾驶:无人驾驶感知技术及应用_第31张图片
  • 视觉 3D 感知:2D detection → \rightarrow 3D box
    • 单目几何约束估计:Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy
      无人驾驶:无人驾驶感知技术及应用_第32张图片接地点法 Z = f H y Z=\frac{fH}{y} Z=yfH
      无人驾驶:无人驾驶感知技术及应用_第33张图片
      模板估计法 d / f = x / h 1 d/f=x/h_1 d/f=x/h1 d / f = ( x + w ) / h 2 d/f=(x+w)/h_2 d/f=(x+w)/h2 ( w w w:目标的真实宽度,假设预定义)
      无人驾驶:无人驾驶感知技术及应用_第34张图片
    • 双目 3D 估计 (Multiple View Geometry in computer vision):triangulation refers to the process of determining a point in 3D space given its projections onto two, or more, images. In order to solve this problem it is necessary to know the parameters of the camera projection function from 3D to 2D for the cameras involved, in the simplest case represented by the camera matrices
      无人驾驶:无人驾驶感知技术及应用_第35张图片
    • 基于深度学习的方法
      单目深度估计
      Deeper Depth Prediction with Fully Convolutional Residual Networks,3DV 2016
      Deep Ordinal Regression Network for Monocular Depth Estimation. CVPR 2018
      From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation Group-wise Correlation Stereo Network,CVPR 2019
      双目深度估计
      Learning for Disparity Estimation through Feature Constancy,CVPR 2018
      SegStereo: Exploiting Semantic Information for Disparity,ECCV 2018
      Group-wise Correlation Stereo Network,CVPR 2019
      单目 3D 检测
      Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving. CVPR 2019
      Monocular 3D Object Detection via Geometric Reasoning on Keypoints. arXiv:1905.05618
      Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction. CVPR 2019

障碍物融合感知

  • 融合感知:利用多种传感器的信息来实现同一感知任务

基于融合的处理形式

  • 数据层融合:视觉 + 激光原始数据的融合。传感器标定:建立不同传感器坐标系的转换关系,在此转换关系下可找到同一目标在不同传感器坐标系下的空间位置
    无人驾驶:无人驾驶感知技术及应用_第36张图片
  • 中间层融合:视觉 + 激光 + 毫米波中间处理结果的融合 (lidar / camera 中间层融合: Frustum pointnets for 3d object detection from rgb-d data)
    无人驾驶:无人驾驶感知技术及应用_第37张图片
  • 决策层融合:视觉 + 激光 + 毫米波基本感知结果的融合。对 2D box & attribute 和 3D lidar detection 结果进行融合
    无人驾驶:无人驾驶感知技术及应用_第38张图片无人驾驶:无人驾驶感知技术及应用_第39张图片

场景感知

Why we need scene understanding ?

无人驾驶:无人驾驶感知技术及应用_第40张图片

场景感知 - 施工区域

Special object detection & bottom-up clustering

无人驾驶:无人驾驶感知技术及应用_第41张图片

场景感知 - 水坑识别

Image segmentation + 3D polygon fitting

无人驾驶:无人驾驶感知技术及应用_第42张图片

场景感知 - 天气识别

Image classification

无人驾驶:无人驾驶感知技术及应用_第43张图片

场景感知 - 车道线检测

传统方法

  • (1) 图像映射到 BEV 视角(可选)
  • (2) 二值化/边缘检测
  • (3) 后处理:边缘点提取 + 直线/曲线拟合,或霍夫变换 + 规则过滤
    无人驾驶:无人驾驶感知技术及应用_第44张图片

深度学习方法 - Spatial As Deep: Spatial CNN for Traffic Scene Understanding. AAAI 2018

无人驾驶:无人驾驶感知技术及应用_第45张图片

信号灯感知

  • 红绿灯:固定红绿灯/移动红绿灯;机动车道灯/非机动车道灯/人行横道信号灯;箭头灯/圆形灯/条形灯/读秒灯;正常灯/故障灯
  • 红绿灯感知: 寻找有效控制灯识别有效灯的颜色

一种固定信号灯识别的流程

无人驾驶:无人驾驶感知技术及应用_第46张图片

  • 选灯:由高精定位&地图获取车道信息,然后由高精地图获取控制灯信息 (当前车道对应路口的哪个控制信号灯)
  • 红绿灯坐标转换过程
    无人驾驶:无人驾驶感知技术及应用_第47张图片
  • 红绿灯 ROI Crop:绿框:基于高精地图/定位的红绿灯投影框;黄框:基于投影框扩大范围得到的 ROI Crop 区域;红框:对黄框区域做红绿灯检测的结果
    无人驾驶:无人驾驶感知技术及应用_第48张图片
  • 投影检测匹配:把检测出的红绿灯检测框和基于高精地图/定位的红绿灯投影框进行匹配;基于检测框到投影框的整体距离,常见的有匈牙利匹配算法
    无人驾驶:无人驾驶感知技术及应用_第49张图片匈牙利匹配的局限:由漏检/误检导致的匹配混淆
    无人驾驶:无人驾驶感知技术及应用_第50张图片解决方法:距离匹配 ⇒ \Rightarrow 结构匹配
    无人驾驶:无人驾驶感知技术及应用_第51张图片
  • 规则校验
    基于语义的红绿灯识别
    在这里插入图片描述基于规则的红绿灯校验:有限状态机推理
    无人驾驶:无人驾驶感知技术及应用_第52张图片

移动红绿灯识别

无人驾驶:无人驾驶感知技术及应用_第53张图片

  • 触发机制:(1) 无固定红绿灯路口;(2) 固定红绿灯坏掉的时候
  • 工作原理:(1) 全图识别初始化;(2) 通过高精地图/lidar检测校验

Corner case

无人驾驶:无人驾驶感知技术及应用_第54张图片

  • 基于其它红绿灯结果的推理:控制信号灯被遮挡时,可以利用其他未被遮挡的信号灯进行推理
    无人驾驶:无人驾驶感知技术及应用_第55张图片
  • 基于交通流的推理
    无人驾驶:无人驾驶感知技术及应用_第56张图片

无人驾驶感知 - 参考材料

Open course

  • CSC2541 - Visual Perception for Autonomous Driving
  • MIT 6.S094: Deep Learning for Self-Driving Cars
  • 无人驾驶干货铺

Survey

  • Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art Self-Driving Cars: A Survey
  • Towards Fully Autonomous Driving: Systems and Algorithms
  • A Survey of Autonomous Driving: Common Practices and Emerging Technologies
  • Self-Driving Cars: A Survey

Open source

  • Apollo - https://github.com/ApolloAuto
  • Autoware.ai - https://www.autoware.ai/

Labs & guys

  • CASIL-MIT,Robotics-CMU,SAIL-Stanford
  • Raquel Urtasun (University of Toronto),Andreas Geiger (University of Tübingen)

你可能感兴趣的:(无人驾驶,人工智能,算法,机器人)