Apollo星火计划学习笔记——第五讲Part1 Apollo感知模块详解与实践

引言

课程内容和学习目标：

• 了解自动驾驶感知的定义和作用
• 熟悉感知涉及的主要传感器和其特性，了解其数据结构
• 了解传感器有关的坐标系和感知标定的原理和作用
• 熟悉感知的工作流程，了解感知算法框架

1. 感知的作用

感知： 是对感官信息的组织、识别和解释以表示和理解所呈现的信息或环境
自动驾驶感知： 涉及车辆传感器收集数据并将这些数据处理成对车辆周围世界的理解，为后续PnC模块提供必要信息

感知获取的信息：
（1）静态环境结果

• 路面信息（车道线、转弯标识、停车线、人行横道等）
• 路标（限速牌、禁停标志等）
• 红绿灯等其他静态信息

（2）动态障碍物结果

• 机动车
• 自行车
• 行人
• 其他动态交通参与者

（3）状态

• 障碍物的位置、速度、种类、预测轨迹
• 红绿灯状态、读秒器显示等

（4）场景

• 高速、十字路口、无保护左转、停车场
• 天气（雨、雪、雾等）

2. 常见传感器介绍

环境传感器：

• 相机
• 激光雷达
• 毫米波雷达
• 超声波雷达

自车传感器：

• GNSS
• IMU
• 轮速计

上图显示不同传感器的性能结果

2.1 传感器——相机

种类： 前视摄像头、环视摄像头、鱼眼摄像头、双目摄像头、时间相机
优点： 成本低、物体纹理信息清晰
缺点： 缺乏深度信息、光干扰
感知算法： 深度学习、传统算法、SLAM

2.2 传感器——激光雷达

激光雷达LiDAR是激光探测及测速系统，通过主动发射固定波长的激光，测量物体反射的时间和位移，可以高精度定位激光光束映射在物体上的光斑，测距精度小于厘米级，可以对周围环境进行精确的3D重建。

激光雷达的构成：
（1）发射模块：产生固定波长激光
（2）接收模块：光电转换
（3）扫描模块：改变激光束的空间投射方向
（4）控制模块：完成发射模块、接收模块和扫描模块的控制以及激光雷达数据的处理和外界系统的数据传输

激光雷达测距原理：

激光雷达光源： 波长越短，频率越高，能量越强，一般选择905nm或1550nm。905nm边发射激光器供应链成熟，常用（InGaAs/GaAs应变量子阱脉冲激光二极管）；1550nm以光纤激光器作为光源，成本、体积、供应链不成熟。
探测器： 硅在905nm波长吸收光子，硅基光电探测器技术比探测1550nm光所需的铟镓砷（InGaAs）近红外探测器更加成熟。
人眼安全： 对于人眼安全角度（低于400nm或高于1400nm激光会被晶状体和角膜吸收造成白内障或晶体状烧伤）考虑，

激光雷达扫描方式：

激光雷达总结：
通过不断向外发射激光束，并接收物体反射会的光脉冲，根据光速计算出信号之间的时间差或相位差来确定车与物体之间的相对距离。
按扫描方式
（1）旋转式激光雷达
（2）固态式激光雷达：Flsah、OPA
（3）混合式激光雷达：转镜、振镜、MEMES
按工作原理： 三角测量法、飞行时间（TOF）、调频连续波（FMCW）
光源： 905nm、1550nm
优点： 3D感知，原声深度信息、抗强光
缺点： 缺乏纹理信息
常用算法： 深度学习、传统算法、SLAM

2.3 传感器——毫米波雷达

毫米波雷达类型： 远距离雷达、角雷达、3D(x,y,v)、4D(x,y,z,v)
按工作频率： 77GHz、24GHz
优点： 抗干扰、有径向速度
缺点： 角分辨率低、无物体纹理信息、小目标检测效果差

2.4 传感器——部署方案

3. 传感器标定

3.1 安装位置

传感器安装位置考虑内容： 感知范围（HFOV、VFOV、Distance）、最佳视角、遮挡、不同传感器之间的冗余、安全性、稳定性、量产项目要考虑和车身的整合。
每个传感器有自己独立的坐标系，需要经过标定将传感器统一到车身坐标系。

3.2 坐标系

数据坐标系： 根据传感器原理不同，每种传感器都有自身的数据坐标系，如相机将三维世界中的坐标点映射到二维图像平面的像素坐标系
传感器坐标系： 以传感器为中心的三维笛卡尔坐标系
车身坐标系： Apollo中采用右-前-天方法（X-面向车辆前方，右手方向为正；Y-车辆前进方向为正；Z-垂直地面，车顶方向为正；后轴中心为坐标系中点）
传感器标定的目的： 把感知到的周围环境统一到车身坐标系

3.3 内参和自标定

传感器内参： 传感器坐标系和数据坐标系之间的映射
传感器外参： 传感器相对于车身或其他传感器坐标系的位姿
相机自标定：

• 去畸变：小郑光线经过透镜边缘后发生弯折，造成的图像边缘弯曲
• 内参标定：图像坐标系到相机坐标系的映射
• 相机模型选择：小孔模型(PInhole)、全向相机(Omnidirectional)
• 供应商可提供或通过棋盘标定板测定

激光雷达自标定：

• 扫描方式不同，标定方式不同，如旋转式需要发射器角度和位置
• 发射强度、反射率标定板
• 厂家标定

3.4 Camera2Camera

自动驾驶外参标定： 离线标定、在线标定、Target-based VS. Targetless-based
相同传感器标定： 采用特征点配对的方式求解位姿，如LiDAR使用ICP进行点云匹配

3.5 LiDAR2LiDAR

3.6 Radar2LiDAR

3.7 Camera2LiDAR

3.8 无目标方法

3.9 工厂标定

4. 感知流程和算法

4.1 感知基本流程

4.2 Apollo 感知实验

参考文章及视频

星火第五讲——Apollo感知模块详解与实践1