超全汇总！多传感器离线/在线时空联合标定方法

多源异构传感器融合在当今的自动驾驶应用场景中很常见，准确的多传感器时间和空间统一是实现多传感器融合感知和定位的先决条件。许多传感器融合方法假设不同传感器的时间戳精确对齐，这实际上只能通过严格的硬件同步来保证，但是对于大多数低成本和自建的传感器组，硬件同步是不可用的。在实践中，传感器数据的时间戳会受到不同的时钟、触发机制、传输延迟、数据堵塞、抖动、偏斜的影响，导致测量时刻和时间戳之间的存在偏移。准确的时间校准是实现有效传感器融合的首要前提。空间统一即确定传感器间的旋转和平移。其中，离线标定是目前的主流的空间标定方案，具有精度高的优点，但计算成本也高，常需要良好的初始估计来精确收敛，且通常存在设备(如标定板)/场地限制。考虑载体（如车辆）在实际运动过程可能会产生振动，传感器容易受此影响发生滑移，以及受长时间运行和温度等其他因素的影响，标定参数会逐渐变得不准确，而感知和定位算法对标定参数的准确性非常敏感，会严重降低感知定位算法的性能和可靠性，此时，无标定设备和场地限制的且能够动态修正标定参数的在线空间标定技术具有更强的灵活性和适应性。本文围绕多传感器时空联合标定主题分离线、在线两个分支整理汇总了近年来多篇优秀工作。

离线时空联合标定

Unified temporal and spatial calibration for multi-sensor systems

多传感器系统的统一时空校准

在此工作之前，许多工作选择通过两个阶段过程来完成时空标定，即首先估计时间偏移，然后求解传感器之间的空间变换。而该工作提出了一种新的框架，使用批量、连续时间、最大似然估计来确定传感器之间固定时间偏移和空间变换。

该方法遵循 Furgale 等人提出的批量连续时间状态估计的基函数方法，时变状态表示为有限数量的已知分析基函数的加权和，使得在最大似然估计的严格理论框架内处理估计时间偏移的问题，同时它将问题留在连续时间中，以便可以分析评估延迟测量方程及其雅可比行列式。

以相机和IMU为例，由 B 样条函数表示时变状态，推导了可同时确定相机和 IMU 之间的外参和时间偏移的估计器。选择将时间偏移的初始猜测设置为零。首先通过标定板粗略计算相机的位置并来猜测初始IMU 的位置。IMU 位姿被编码为六阶 B 样条，这种高阶表示将加速度编码为三次多项式。作者发现这对于在校准过程中准确捕捉传感器的动态运动是必要的。偏差由三次 B 样条表示。其中，节点数也必须反映系统动力学，需要更多的节点来实现更快的变化量。由于用于表示状态的 B 样条的阶数以及使用的节点数，在 LM 的每次迭代中必须求解的方程组可能非常大。然而，矩阵是稀疏的，主要是由于 B 样条基函数的紧凑支持。六阶 B 样条基函数在恰好六个区间上是非零的。结果是LM信息矩阵的主对角线是块六对角线，在与姿态样条相关的部分中。下图展示了 0.1 秒数据的示例矩阵。

作者通过展示来自 500 次仿真和 40 组真实校准数据集的结果来简要展示校准框架的准确性和稳定性。下图是500 次仿真试验中估计的时间偏移的误差直方图，时间偏移在 -8 毫秒和 8 毫秒之间变化。估计器返回的边际不确定性被绘制为高斯概率密度函数（红色）。结果清楚地表明，如果已知正确的噪声模型，则该方法能够估计两个设备之间的时间偏移并返回估计的合理不确定性。

最后作者进行了确定时间延迟方法的比较。结合所有可用传感器信息的联合估计可得到估计方差显著减少和最一致的结果。使用所有传感器信息的子集（仅使用陀螺仪或仅使用加速度计以及相机）会产生不太准确的估计。实验结果还表明，时间和空间校准的分离将导致估计不太准确，这表明校准可能从额外的测量中受益，而不是从不相关参数的分离中受益。

来源：FURGALE P, REHDER J, SIEGWART R. Unified temporal and spatial calibration for multi-sensor systems [C]. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE. 2013.10.1109/IROS.2013.6696514

A General Approach to Spatiotemporal Calibration in Multi-sensor Systems

多传感器系统时空标定的通用方法

该工作是上一篇文章工作的延续和扩展，提出了一种传感器之间固定时间偏移和空间变换联合估计的通用和原则性方法。尽管作者也认为联合估计不相关的量可能会损害估计结果，但仍相信，给定准确的测量模型，最大似然估计的最优性将避免上述问题。因此，作者选择将所有可用信息合并到一个统一的估计中来实现最高的时间和空间参数精度。

该方法同样采用使用基函数估计时间偏移，利用连续时间批量估计的最新进展，存在于最大似然估计的严格理论框架内，具有更高的可重复性和准确性。可将空间位移估计为毫米精度，时间偏移估计小于最快测量间隔。

以相机、IMU和激光测距仪为例，也同样由 B 样条函数表示时变状态，推导了相机/IMU、相机/IMU/LRF和相机/LRF的时空校准估计器。增加介绍了激光测距的概率模型和自动平面检测。

作者增加了基于不同的时钟同步方法的实验来比较时空校准结果。下图展示了通过硬件时钟同步(L/1)和单向时间戳校正(L/3, C/3)估计LRF 和其他传感器之间的时间偏移。为了量化时间校准的性能，将不同的模拟偏移应用于三个不相交的十个记录集，每个记录长度为 1 分钟。这些结果与根据 Hokuyo UTM-30LX 产品规范确定的值一致，并且它们表明该方法能够准确地估计延迟。同时还表明，仔细的软件时钟同步具有可与硬件时钟同步相媲美的精度和准确度

图 11提供了 LRF 相对于相机的空间和时间校准精度的视觉验证。

来源：JOERN R, ROLAND S, PAUL F. A General Approach to Spatiotemporal Calibration in Multi-sensor Systems [J]. IEEE Transactions on Robotics, 2016.

iCalib: Inertial aided multi-sensor calibration

惯性辅助多传感器校准

该工作为异步IMU、摄像机、激光雷达和车轮里程计传感器开发了一个基于整体非线性最小二乘法 (NLS)的利用高速惯性辅助的多传感器校准方法（称为iCalib）。

该工作总结比较了多传感器校准算法，如下表所示。许多算法或是未考虑时间偏移或是未考虑多种传感器，多存在局限。

该工作提出的惯性辅助校准 (iCalib) 系统的状态向量包括：惯性导航状态、一组环境特征、一组传感器的时空和内在校准参数。

该工作基于IMU运动学和相对姿态开发了两种不同的插值方案，以融合异构测量，从而实现通用的时空校准。其中，基于IMU运动学插值是在要差值的姿态附近时间找了一个近似值，只适用于发生在惰性附近的姿态测量，考虑了IMU的时间偏差。基于相对姿态的插值是在两个边界惯性状态之间找到一个姿态。

该方法依靠初始校准估计能够精确校准所有传感器之间的时空参数。通过大量的蒙特卡洛仿真和实际实验，验证了算法的准确性、一致性和性能。特别是对平面运动如何导致标定退化以及它如何直接影响我们标定参数的能力进行了深入研究，这对无人地面车辆（UGV）具有实际意义。

下图展示了实际实验IMU+3CAMs、IMU+CAM+LiDAR和IMU+ CAM+车轮的校准结果。校准结果,与最先进的校准工具箱Kalibr和MSG-CAL进行比较。作者同时指出解决运动受约束情况下的标定仍然存在巨大挑战，也是未来的努力方向。

来源：YANG Y, LEE W, OSTEEN P, et al. iCalib: Inertial aided multi-sensor calibration[C]. VINS Workshop, 2021.

Spatiotemporal Multi-sensor Calibration via Gaussian Processes Moving Target Tracking

基于高斯过程估计的运动目标的多传感器时空标定

该工作首先介绍了基于有目标和无目标的标定方法。基于里程计的方法是一类特殊的无目标方法，适用于在线应用，并且基于利用环境来估计自我运动和校准多传感器。在基于目标的深度传感器校准以及利用人体运动校准相机、深度传感器和激光雷达中，通过校准移动目标的轨迹来校准传感器的概念最受关注。作者认为时间校准的一个挑战是计算复杂性，即在每个优化步骤中，由于新的时延扰动，需要计算新的对应关系。因此，需降低问题的维数，最好去除与外部校准的相关性。

该工作关注基于目标跟踪的异构外部感知传感器（例如相机、激光雷达、毫米波雷达、声纳等）的外部和时间校准，该校准依赖于使用高斯过程 (GP) 的连续时间表示，提出了一种基于高斯过程估计移动目标轨迹的多传感器校准方法。和其他方法不同，该方法可以做到多传感器联合流形空间上的时空优化，采用批状态估计，通过高斯过程做到状态内插。

该方法可以分为以下两个连续步骤：1）用单独的 GP 表示每个传感器捕获的运动目标的轨迹；2）基于 GP 插值和高效流形优化的联合时空校准。使用 GP 进行连续时间目标轨迹估计的主要好处是可以插值得到任意时刻的状态，而不仅仅是在测量时间，这使得能够在时间上对齐测量值。以两个传感器之间的时空标定为例，一旦估计得到了它们中的每一个的  GP 目标轨迹，就可以根据它们的位置对齐目标轨迹，该任务可以被视为具有已知点对应关系但未知时间对应关系的 ICP 问题，作者提出了一种迭代最小二乘求解器，该求解器利用了 Grisetti等人提出的 ICP 高效流形优化的先前工作。以频率最慢的传感器作为固定传感器，另一个传感器作为插值传感器。下图显示了由固定和插值传感器观察到的目标位置轨迹，通过对齐两个目标轨迹完成时延估计，三角形表示固定传感器得到的状态测量值，圆点表示内插出来的状态值，虚线表示状态对应关系。

在优化过程中，待优化的参数是多个传感器之间的外参和时间参数，包括R，T，td，kd分别是旋转矩阵，平移矩阵，时延和钟差参数。旋转和平移表示在李群流形空间上，在某一次迭代过程中，使用当前时刻的时延和钟差得到时间戳并结合高斯过程表示的轨迹得到时刻固定传感器观测到的目标的状态zk作为measurement值，以内插传感器对应时刻的状态hk作为observation构建极大似然估计，采用高斯-牛顿（GN）法得到全局最优的R，T，td，kd。

该方法的优点之一是它不需要传感器系统的运动。通过依靠目标运动，可以执行高度动态的运动并获得信息数据以进行精确的校准，而与系统无关。车辆等传感器系统的标定可以从这种方法中获得启发。

本文方法唯一需要的是所有传感器可以观测到同一个目标(标定板)，不依赖传感器系统本身的运动（依赖目标的运动）。该方法在以下五种不同的多传感器的仿真和实际实验中得到验证：硬件触发立体相机；相机和动作捕捉系统；相机和汽车雷达；相机和旋转 3-D 激光雷达；相机，3-D 激光雷达和动作捕捉系统。该方法可以估计最快传感器采样频率级别的时延，优于最先进的基于自我运动方法。

下图展示了相机和3D雷达之间的时空标定结果。静止状态明确了本文方法对外参标定的有效性，而运动状态揭示了不同运动状态对本文方法的影响。a）静止状态；b)垂直运动；c)左右运动；d)遮挡。

来源：PERSIC J, PETROVIC L, MARKOVIC I, et al. Spatiotemporal Multisensor Calibration via Gaussian Processes Moving Target Tracking [J]. IEEE Transactions on Robotics, 2021, 37(5): 1401-15.

在线时空联合标定

Real-Time Temporal and Rotational Calibration of Heterogeneous Sensors Using Motion Correlation Analysis

基于运动相关分析的实时多源异构传感器时空标定方法

该工作提出了一种以IMU为中心的异构多源传感器时间偏移和外部旋转参数的校准算法。使用高频IMU作为校准参考，以IMU为中心的方案旨在实现一个统一的框架，如下图所示，该框架适用于可以独立估计3D旋转运动的各种目标传感器与中心IMU的校准，任意两个使用同一参考IMU的传感器也可以进行相应的校准。

下图给出了该算法的原理图。该工作重点关注“时间校准”，即确定测量时刻和时间戳之间的恒定偏移的过程。IMU作为载体传感器可以直接测量具有角速度和线性加速度的三维自我运动特征。激光雷达和相机，能够通过里程计获取三维自我运动。如果从不同的运动估计方法中提取运动特征作为独立的信号，就不需要辅助标定板，相应的时间偏移可以首先通过运动相关分析来估计，这对多重几何变换是不变的。通过充分的运动激励和精确的时间校准，可以得到两个传感器观察到的最大运动相关性。给定时间对齐的运动数据，通过具有相同三维相关分析机制的特征方向分析，可以进一步推导出外部旋转参数。

相关性分析是一种应用广泛的相似性度量技术，特别适用于分析时移序列。该工作直接测量原始 3-D 运动（角速度）的 3-D 相关性，并设计了一个速率平衡滤波器来平衡中心IMU和目标传感器之间的更新频率差异。下图5给出了时间校准的过程示意图。下图9展示了三个不同时间偏移值的运动相关性曲线。

给定时间对齐的传感器运动，可以在相同的3D运动关联机制中以解析解求出外部旋转参数。外部旋转是时间偏移估计的副产品，因为它可以在给定时间对齐的运动数据的情况下以封闭形式计算，只需要 SVD 操作和可观察性检查。对于外在旋转估计，增加的计算复杂度几乎为零，这进一步确保了多传感器系统内的实时性能。图21展示了异构多传感器的时空校准结果。

该校准方法与优化方法具有相当的估计精度，具有更大的时间偏移估计范围和解析式的外部旋转参数。算法比较总结于表5。它可以实时的在没有标定板的自然场景中工作。该方法在通用性、计算效率和较大的时间偏移估计范围等方面都优于其他先进的方法。此外，使用与中心参考IMU相同的多个独立标定线程可以一起校准任意两个传感器之间的时间偏移和外部旋转矩阵。研究了退化的情况和相应的可观测性条件，进一步提高了校准的鲁棒性。通过对基准数据集的仿真和广泛的真实实验，验证了该算法的估计精度和通用性。

来源：QIU K, QIN T, PAN J, et al. Real-Time Temporal and Rotational Calibration of Heterogeneous Sensors Using Motion Correlation Analysis [J]. IEEE Transactions on Robotics, 2021, 37(2): 587-602.

Efficient Multi-sensor Aided Inertial Navigation with Online Calibration

具有在线校准功能的高效多传感器辅助惯性导航系统

该工作提出了一种基于通用实时MSCKF的多传感器辅助惯性导航系统（MINS），可有效地优化融合来自IMU、相机、车轮编码器、GPS 和3D LiDAR 的测量值，并对所有传感器进行在线时空校准。

该工作同样总结比较了多传感器校准算法，如下表所示。接着介绍了基于 MSCKF 的多传感器辅助惯性导航系统( MINS ) ，包括IMU、相机、GPS 和车轮编码器的量测模型，并进一步扩展系统状态以包括传感器的内参、外参和时间偏移，从而实现在线时空校准。

该工作主要关注基于滑动窗口的高效LiDAR量测跟新。使用激光雷达量测有两个主要困难：实时处理和数据关联。由于 3D LiDAR 传感器提供大量数据点，因此几乎不可能实时跟踪所有点。与相机测量不同，寻找不同扫描之间的点对应关系非常具有挑战性，因为这些点通常不代表相同的物理位置。为了解决这些问题，该工作选择从点云中提取平面块，由于平面块包含主要的结构信息，因此可以通过扫描有效地跟踪它们。下图展示了从点云中提取平面块（左）和平面块合并（右）。使用平面块的中心点 p 和 Hesse 法线 n来描述平面块。这些平面块用于形成 MSCKF 更新的运动约束。

下图展示了选择用于更新的lidar平面块。另外，为了减小计算负担和数值不稳定性，选择将平面表示从平面 (pp) 更改为最近点 (cp) ，这是平面的最小表示，并且可以制定紧凑的残差函数以执行有效的 MSCKF 更新。

下图给出了使用不同的初始扰动进行了六次在线外部和时间偏移校准的仿真实验结果图，可以看出所有校准参数都能够快速收敛到接近其真实值并保持在 3σ范围内。

该工作同样进行了数据集实验。实验结果如下图表所示。VIO 出现了尺度问题，结合额外的传感器能够解决。GPS-VIO 利用 GPS测量结果，在三种传感器组合中显示出最好的结果。LiDAR-VIO 的运行速度比实时速度快 2 倍左右，尤其显示出良好的 z 轴估计结果。这是因为 LiDAR 以 45 度角向下安装，提供大部分来自道路表面的扫描，因此提取的道路上的平面可以防止 z 方向漂移。所提出的MINS融合了所有传感器，并在实时运行时记录了所有校准参数收敛的最准确结果，显示了全局准确和局部精确的定位性能。

来源：LEE W, YANG Y, HUANG G. Efficient Multi-sensor Aided Inertial Navigation with Online Calibration [C]. 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2021.10.1109/ICRA48506.2021.9561254

Online Spatial and Temporal Initialization for a Monocular Visual-Inertial-LiDAR System

单目视觉惯性激光雷达系统的在线时空初始化

视觉、惯性、激光雷达系统（VILS）初始化的两个关键问题是外部校准和不同时间戳下的数据关联。大多数 VILS 假设或部分假设在初始化之前基于精确的传感器安装或离线校准。此外，许多 VILS 在初始化期间需要硬件时间同步以进行数据关联。当面临首次使用或重新布置等条件时，这些系统在实践中很难重新校准。此外，传感器的时间戳源自不同的晶体时钟、相机曝光时间的变化、LiDAR 的低频机械旋转特性以及缺乏硬件时间同步[9]等问题都难以克服，尤其是对于低-成本硬件。在线初始化外标和软件时间同步将极大地促进VILS的推广和应用。其中，VILS初始状态估计主要有两个困难。首先，完整初始状态的数量很大，包括单目相机的矩阵尺度、三个传感器的时间偏差、第一帧相机的重力矢量、传感器之间的外在变换矩阵、IMU 偏差以及位置、速度和传感器框架的旋转等。其次，几乎所有的初始状态都被捆绑，直接将它们全部引入系统识别框架中，会导致框架容易陷入局部最小值，从而产生完全错误的状态估计结果。

针对上述问题和难点，该工作提出了一种单目视觉、惯性、激光雷达的在线初始化方法，该方法可以实现软件时间同步并自动计算外部参数，而无需事先了解环境信息或特殊运动。该方法包括两个阶段：（1）新颖的单目视觉惯性（VI）初始化和（2）激光雷达惯性（LI）在线初始化。算法原理框图如下图所示。

为了消除两个阶段初始状态估计的捆绑效应，该方法在标称状态空间中提供了一个线性解，首先获得旋转外参的粗略起始值，然后引入运动约束下的非线性优化以获得真实状态空间中的完整初始状态。具体地，在阶段 1，该方法考虑了更完整的初始状态，包括时间偏移、加速度计的偏差、以及惯性测量单元 (IMU) 和相机之间的外参，通过IMU预积分、VI 旋转约束线性解（手眼标定）、VI 旋转、平移约束优化，实现了比 VINS-MONO 更快、更健壮的 VI 初始化。在第 2 阶段，该方法通过VIL 时间软同步将视觉惯性里程计 (VIO) 线性插值到 LiDAR 的相同时间戳上，通过VIL 旋转约束线性解（手眼标定），VIL平移约束优化，求解 LI 外部参数。

下图(a) (b) 演示外参标定过程，(c) 是对应的轨迹。在三幅图中，符号 0 表示 VILS 开始移动，符号 1 表示 VI 初始化过程结束。符号 2 表示 LI 初始化过程完成。表3给出了有无时间偏移估计等旋转外参估计对比。

为了解释所提出方法的效率，作者还展示了另外两个实验（室内和室外），实验结果如下图所示。由于该算法通过旋转约束优化来细化外部旋转，大大提高了VI初始化的效率。

上述为整体校准性能测试。为进一步细致评价外部校准的性能，作者以离线Kalibr和 Autoware 校准工具箱的校准结果作为参考，进行了VI和Li的外部校准评估。实验结果如下图所示。由于室内房间的纹理稀疏，作者的 VI 外部校准方法在室外表现更好。对于 LI 外部校准，作者的方法在室内更准确，因为 LiDAR 失真在室外更严重。在三个旋转自由度上的平均外部校准约为 5 度。该方法的当前限制是外部参数估计不如离线方法准确。

来源：WANG Y, MA H. Online Spatial and Temporal Initialization for a Monocular Visual-Inertial-LiDAR System [J]. IEEE Sensors Journal, 2022, 22(2): 1609-20.