2020/8/2感知概貌与传感器标定

概貌

机器感知系统根据各种各样的传感器来获取汽车周围的驾驶环境，包括Lidar，Camera，Radar，超声波雷达以及拾音器等。
机器感知：全覆盖，精度更高(厘米级别)，但是在语义感知方面相差太大。

感知模块分为大感知与小感知
小感知：完成感知任务需要具备的功能模块，包括检测、分割、识别、跟踪、融合等
大感知：感知要真正的为无人车系统服务，需要考虑上下游，例如标定，定位，障碍物行为预测等，也是当前的一种研发趋势

感知划分

1.按传感器（输入）划分感知：Lidar，Camera，Radar，Ultrasonic高精地图等
2.按输出划分：主要包括障碍物，车道线和道路边界，红绿灯等
3.按问题空间维度：例如感知模块中涉及的一些算法或者要处理的问题，包括2D算法，3D算法（高度、距离、朝向角）。按照时间可以分为静态帧检测和时序处理等
4.按机器视觉：高语义和低语义问题，例如模型计算和几何计算
5.按机器学习：分为深度学习驱动的感知和通过先验知识进行启发式设计的方法，称之为后处理
6.按系统划分：包括硬件和软件，以及软硬件一体化。在无人车系统里，感知的硬件显得更为重要，软件需要同步于硬件

传感器标定

分类：绝对标定、相对标定或比较标定、静态标定和动态标定

1.绝对标定—被测量是由高精度的设备产生并测量其大小的，特点：精度较高，但较复杂。
2.相对标定或比较标定—被测量是用根据绝对标定法标定好的标准传感器来测量的，特点：简单易行，但标定精度较低。
3.静态标定—确定传感器的静态指标，主要有线性度、灵敏度、迟滞和重复性。
4.动态标定—确定传感器的动态指标，主要有时间常数、自然振荡频率和阻尼比等。

标定的目的：标定的核心概念是得到传感器之间的相对位置，将不同传感器的数据在同一个坐标系中表示； 分为内参标定和外参标定

内参：传感器自身性质
外参：传感器之间的相对位置和朝向

传感器标定算法：

Lidar内参标定：相对于摄像头，激光雷达的内参标定有一定的特殊性。
Lidar-to-GPS外参标定：计算出Lidar与车上GPS的相对位置。GPS的位置由世界坐标系中的3D点表示，因此计算出外参之后可以计算得到Lidar在世界坐标系中的位置。
Lidar-to-Lidar外参标定：计算不同Lidar之间的相对位置。
Lidar-to-Camera外参标定：计算Lidar和相机之间的相对位置。
Camera-to-Camera外参标定：计算不同相机之间的相对位置。
自然场景中的Lidar-to-Camera外参标定：在自然环境中，驾驶车辆进行两种不同传感器之间的位置关系求解。
自然场景中的Bifocal Camera外参标定：双焦点摄像头之间外参的计算，也是就是不同焦点的相对位置。
Camera-to-Radar外参标定：摄像机到毫米波雷达的外参计算。

标定案例：
基于标定间的多Lidar-Camera标定： 基于激光雷达的毫米级高精度Rigel激光扫描仪，通过对墙上二维码的多次扫描，完成3D建模；并输出一个查找表，查找表由两栏组成，第一栏是Tag_ID，表示各个二维码的ID编号，第二栏是二维码四个角的3D位置信息；在此基础上可以进行不同传感器的参数标定

Camera-to-Camera外参标定： 双Camera标定，Camera1是60度广角短焦距相机，Camera2为30度广角长焦距相机；
获得多个二维码对应四个角点的UV坐标；查找之前建立好的查找表，得到相机相对于世界坐标系各自的位移矩阵Ts和Tl，两个相对位移矩阵相互传递，以此得到二者之间的相对位置

Lidar-to-Camera外参标定： 将Camera看到的所有Tag角点与Rigel扫出的对应点的3D坐标进行匹配，求解PNP问题，得到Camera相对于Rigel世界坐标系的相对位置

代最近点匹配ICP

位置矩阵

位置矩阵

相对位置

激光Lidar

Rigel

Camera

Lidar-to-Lidar外参标定： 每一个Lidar与Rigel的稠密点云进行ICP，进而得到各个Lidar之间的相对位置

代最近点匹配ICP

位置矩阵

代最近点匹配ICP

位置矩阵

代最近点匹配ICP

位置矩阵

代最近点匹配ICP

位置矩阵

代最近点匹配ICP

位置矩阵

Lidar1

Rigel

Lidar2

Lidar3

Lidar4

......

内参标定： 借助Rigel，进行完整扫描，得到场景的点云。然后，将要标定的激光雷达对同一个场地进行同样的扫描。对两次扫描的点云进行匹配，如果激光雷达的内参不准确，会出现远距离地面点浮在空中的现象

Lidar-to-GPS外参标定： 将车辆在空旷地区绕八字行驶多次，记录多个时间点GPS给出的车辆位置信息(相对于GPS为原点的世界坐标系)，将Lidar捕捉的多帧点云投影到世界坐标系中，并进行拼接，求解优化获得外参。

自然场景的Lidar-to-Camera外参标定： 在标定的场景中寻找具有明显边缘的物体作为参照物，将该参照物的点云边缘和Camera拍摄图像的边缘对齐作为参数标定效果的考量指标，如果对齐，这表示标定结果良好

**自然场景的Bifocal Camera外参标定：**类似于Camera-to-Camera外参标定，但是需要在自然场景中找到边缘锐利的物体作为参照物。

Camera-to-Radar外参标定： 重点是得到Radar相对于Camera的Pitch角的上下倾斜；由于一般Radar是水平安装的，就只需要Camera相对于地面的Pitch角，可以通过Lidar采集到的平面信息解决倾角问题（Camera-to-Lidar已经标定好）。