【多传感器融合理论】02自动驾驶中多传感器同步理论

目录

传感器时空同步概述

时间同步

传感器时间硬同步

传感器时间戳

传感器频率 

 时间硬同步

统一时钟源

  硬件同步出触发

空间同步

运动补偿

 传感器标定

---

传感器时空同步概述

时间同步

时间同步就是通过统一 的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，以做到所有传感器时间戳同步。

空间同步

不同传感器坐标系下的测量值转换到同一坐标系下（也可以理解为传感器在整车坐标系下的标定参数）。

时间同步

传感器时间硬同步

传感器时间戳

系统时间：

一般指的是SOC所搭载的系统对应的时间，是以UNIX或者 UNIX系统使用的时间进行表示，一般定义 为从UTC时间的1970年1月1日0时0分0秒起 至现在的总秒数（10位是精确到秒，13位是 精确到毫秒），如果考虑闰秒的话，也需要 加上经闰秒调整后的总秒数。所以，系统时 间戳，有时候也称为Unix或POSIX时间戳。

 

传感器频率 

 由于每种传感器的采样频率不一致，如LiDAR通常为10Hz，camera通常为25/30Hz， 不同传感器之间的数据传输还存在一定的延迟，那么可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大， 且传感器或障碍物又在运动，那么最终会得到较大的同步误差。

 时间硬同步

供相同的基准时间，各传感器根据提供的基准时间校准各 自的时钟时间，从硬件上实现时间同步。 目前自动驾驶中主流时间同步是以GPS时间为基准时间，采用PTP/gPTP时钟同步协议来完成各传感器之间的时间 同步，PTP 前提是需要交换机支持PTP协议，才能实现高精 度同步。 与PTP同时出现的还有一种NTP，即网络时间协议，不同的是PTP是在硬件级实现的，NTP是在应用层级别实现的 。

统一时钟源

 由于每个传感器都有自己的时间戳，这里 统一时钟就是来同步不同传感器时间戳的。如果
传感器支持硬件触发的情况下，可以采用GPS时间戳作为基准进行硬件触发，这时传感器给出 的数据中包含的时间戳即为全局时间戳（GPS时间戳）而非传感器时间戳。

  硬件同步出触发

由于每种传感器的采样频率不一致，如lidar通常为10Hz，camera通常为25/30Hz，不同传感器之间的数据传输还存在一定的延迟，那么可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或障碍物又在运动，那么最终会得到较大的同步误差。这个情况可以采用硬同步触发的方法来缓解查找时间戳造成的误差现象，也 可以调整传感器的固有频率，如将相机调整为20Hz，减少时间差问题。

时间索引-时间直接配准法

 

直接配准法，适合帧率具 有整数倍数关系的传感器之间， 以频率低的为基准，找出时间戳 对应的数据即可。如右图，这种 方法误差比较大，而且要求传感 器之间的帧率是整数倍

时间插值-时间最小二乘拟合法

 最小二乘法是时间配准中常用的一种方法，适合帧率非整数倍关系的传感器之间的时间对齐。
就是将其中一个传感器的观测数据通过某种特定的拟合原则得到一个关于时间的曲线，然后通过该 曲线得到与另一个传感器对应时刻的数值，即可得到同一时刻两种种传感器的数据配准。如下：

 内插外推法

 内插外推法适用于传感器间 帧率不存在倍数关系的情况，或 者传感器有帧率不稳定的情况。 主要利用两个传感器帧上的时间 标签，计算出时间差，然后通过 包含有运动信息的目标帧与时间 差结合，对帧中每一个目标的位 置进行推算，推算出新的帧时各 个目标的位置，并于原有的两帧 之间建立新的帧。

其他

关于时间同步，还有很多方法，如虚拟融合方法，泰勒展开方法 等等，甚至还需要实际情况提出种种改进措施。

空间同步

运动补偿

 运动补偿--纯估计方法

纯估计方法一般是基于激光雷达匀速假设，通过帧间点云匹配来计算激光雷达的位置来进行线性补偿的。常用的 方法包括ICP(Iterative Closest Point，迭代最近点算法)以及其相关的变种(VICP)，以 及ANN(Approximate Nearest Neighbor)。

 运动补偿--里程计辅助方法

 里程计辅助方法是利用IMU信息对激光数据中每个激光点对应的传感器位姿进行求解，即求解对应时刻传感器的位姿，然后根据求解的位姿 把所有激光点转换到同一坐标系下，然后封装成 一帧激光数据，发布出去（可以理解为激光点云的去畸变）。

处理流程：

1）通过IMU与点云数据时间对齐，然后对每个点 进行速度补偿，通过时间戳进行线性插值，然后将所 有点云数据转换到初始点云的IMU坐标下；

2）与上一帧的去完畸变的点云数据进行帧间匹 配，计算激光姿态。并通过计算的姿态对每个点云进行线性补偿，将所有的点云数据根据时间戳转换到最 后一个点云数据时间戳下，即完成了里程计方法的补偿
 

  运动补偿--融合方法

是Odom与匹配方法的结合。步骤：

1. 用里程计方法进行矫正，去除绝大部分的运动畸变；
2. 认为里程计存在误差，但是误差值是线性分布的；
3. 用ICP的方法进行匹配，匹配的结果作为真值，得到里程计的误差值；
4. 把误差值均摊在每一个点上，重新进行激光点位置修正；
5. 再一次进行ICP迭代，直到收敛为止；

 如下图所示，绿色部分为原始的点云数据，粉色为去除运动畸变的点云数 据，很明显前半部分粉色的点云数据超前绿色的点云数据，后半部分的点云数 据近乎重合。局部放大发现，粉色的点云数据超前于绿色的点云数据，但是形 状依旧类似，怀疑与没有IMU数据校准相关。

 传感器标定

传感器标定是自动驾驶的基本需求，也是多传感器融合的基础，需要首先确定各传感器之间的坐标关 系以及各传感器与整车坐标系之间的转换关系。

 

 

标定场地 

 一般传感器安装完，需要对车辆进行整车的 标定。标定分为基于标定设备的标定和基于自然 场景的标定。基于标定设备的比较容易理解，如 棋盘格, aruco码或April tag，如下图，采用这种方 式，需要很大的整车标定间和摆正器，对于量产 车型和主机厂比较有实力搞。

 另一种就是基于自然场景的标定方法，这种方法利 用场景中静止的物体（如树木、电线杆、路灯杆、交 通标识牌等）和清晰车道线进行标定，通过算法的设 计等，可以有效地提高标定结果的准确度。如下图：

相机与相机 

为啥会有多相机呢？在智能驾驶车中 ，一般会有多个相机，长焦距是用来检 测远处场景，短焦距用来检测近处的。 对于多相机，一般采用长焦相机投影到 短焦相机的融合图像进行标定（已经不 再是简单的共视，而是目标对齐）。在 融合图像的融合区域内，选择较远物体 进行对齐判断，如果重合度高，那么精度则高，如果出现错位，那么就存在一定误差。如果误差大于一定值，就需要 重新标定。

 相机与lidar

相机和激光的标定有很多种，基本思想都是建立相机与激光雷达的约束关系，即精确的激光雷达坐标系，车体坐标系，相机坐标系，图像坐标系，像素坐标系之间的坐标转换关系。

 最常见的激光与相机联合标定方法是将激光产生的点云投影到图像内，然后寻找标记物（可能是标定设备，也可能是具有明显边缘的静止物 体），查看其边缘轮廓对齐情况，如果在一定距离内（一般选50-60m） 的目标，点云边缘和图像边缘能够重合，则可以证明标定结果的精度很高 ，如果出现错位，那么标定结果存在一定的误差，当误差超出一定范围时 ，标定失败。另外，相机和激光联合标定有很多种工具可以直接使用，如 Autoware，apollo，kalibr lidar_camera_calibration等。

 相机与rader

直接标定法

直接标定法是将雷达和视觉信息在确保时间同步的基础上完成 标定。为了保证数据的可靠性，一般采用相机的采样速率为基准，相 机每采一帧图像，则选取毫米波上一帧缓存的数据，即完成毫米波与 相机融合的一帧数据（共同采样数据），从而保证了毫米波雷达数据 与相机数据时间上的同步。完成时间同步后，需要完成空间同步。而 空间同步一般需要在标定场进行：把一个角架放置在不同的位置，记 录毫米波雷达返回的距离和角度，同时记录摄像头测量的角架下边缘 的距离和角度。那么图像平面与雷达反射面之间关系如下：

 

 雷达在相机坐标系下，极坐标系，其中ρ为毫米波雷达与目标之间的距离，ɑ为毫米波雷达的俯仰 角，β为毫米波雷达的扫描角度，h为毫米波雷达的安装高度，R为旋转矩阵，tx，ty是毫米波相 对相机的平移量，Cx, Cy是相机主点，k相机内参，f相机焦距。通过这个关系，可以将毫米比雷 达采集到的空间点转换到图像坐标系中，从而完成了传感器标定。

 激光雷达辅助标定方法

 为了 更好地验证毫米波雷达与相机间 外参的标定结果，引入激光雷达作为桥梁，通过同一系统中毫米 波雷达与相机的外参和相机与激 光雷达的外参，计算得到毫米波 雷达与激光雷达的外参，将毫米 波雷达数据投影到激光雷达坐标 系中与激光点云进行融合，并画 出相应的鸟瞰图进行辅助验证。

如下图融合图像中，白色点为激光雷达点云，绿色实心 圆为毫米波雷达目标，通过图中毫米波雷达目标是否与激光 雷达检测目标是否重合匹配进行判断，如果大部分目标均能 对应匹配，则满足精度要求，否则不满足，需重新标定。

lidar和lida标定

 当多激光时，需要考虑拼接 以获得更大范围的3D覆盖面，那 么这时就需要外参来将多个激光 统一到车辆坐标系下，以便能把 各个雷达的点云进行很好的拼接 。除了多个激光均单独标定外， 还可以利用激光SLAM建图的方 式来完成点云图的拼接。

基于数据和轨迹是同步的假设，首先用LiDAR0进行移动SLAM建图，获得子地图M。然后将LiDAR1的点云基于同步的时间戳与运动轨迹、与粗图估计初值旋 转平移变换到对应子地图M附近，通过几何结构一致性约束和近邻匹配算法不断 迭代，减少匹配误差，直到算法收敛并满足标定矩阵刚性不变特性（六条平行线 ），最后用一致性算法计算出最终标定矩阵。在移动采集数据期间，需保证基准 激光雷达扫描的区域（地图M）能被其余激光雷达所探测，尽量选用室内地下车 库等特征丰富的环境，采集数据时避免四周有移动物体，运动时尽量缓慢，特别 是转弯处，以最小化运动畸变。激光雷达的安装不局限于重叠FOV，可任意安装 ，只要能保证获取外参初值即可。

相机和IMU 

 相机与IMU标定其原理是利用视觉建图与IMU轨迹重合来完成标定的，这里对原理不做过多介绍， 等后面实战课展开。可以学习下 kalibr，它支持对Camera-IMU标 定。

整车标定

整车标定，可以理解多所有传感器的联 合标定，即在一个专门设计过的封闭开阔区 域，有很多信息比较明显的参照物（如车辆 周围的标定板或者周围轮廓比较明细的障碍 物），利用上述几种方法进行整车所有感知 传感器的标定。

点个赞吧！

the end!