Automatic Targetless LiDAR-CameraCalibration: A Survey论文解读

目录

摘要

3 自动无标志物的LiDAR-相机标定 

3.1 基于信息理论

3.1.1 点云和相机的属性对

3.1.2 统计学相似性估计

3.1.3 优化方法

3.2 基于特征

3.2.1 特征提取

3.2.2 特征匹配策略

3.3 基于自身运动

3.3.1 手眼标定

3.3.2 3D结构估计

3.3.3 其他方法

3.4 基于深度学习的方法

---

摘要

LiDAR和相机标定很重要，传统方法依赖特定标志物或需要人工介入，很不方便。本文对自动无标志物的LiDAR-相机标定方法就行深入的报告，其方法主要分为四类：基于信息理论、特征、自身运动和深度学习。

3 自动无标志物的LiDAR-相机标定 

3.1 基于信息理论

估计两个模态传感器的多个一般性质的联合直方图的统计相似性（measure the statistical similarity between joint histogram values of several common properties between the two modalities ）

 主要通过最大化雷达相机之间的信息相似性变换来估计外参，相似性可以有多种信息衡量指标。基本的法则，如下，主要就是根据T将点云投影到图像坐标系下，求解两张图像的信息IM

上述方法主要分为三步：

1）LiDAR点的3D->2D投影：利用外参T

2）统计相似性估计： IM主要估计LiDAR点投影得到的图片和目标图片的统计学相似性。两者的有些特征分布相似，所以不同特征的选择和统计学特征的选择都会得到不同的标定方法。

3）优化：IM的统计学估计一般是非凸问题，所以需要优化算法获取全局最优解。一个典型的流程如Fig3

可以注意到，雷达相机有多个相似分布的属性。例如高反射率的雷达点往往对应图片明亮的表面，低反射率的点对应图片暗区。雷达反射率和相机强度的关联也经常用于估计两者的相似性。从雷达点云和相机图片中提取的梯度量级和朝向也可以使用。

3.1.1 点云和相机的属性对

1）反射强度-灰度值

2）平面法向量-灰度值：因为环境中光源的缘故，表面法向量会影响图片对应像素的灰度值。

3）梯度大小和方向-梯度大小和方向：两个多模态图片比较时，一个图片的像素值与周围差距大，对应的另外一个模态的图片的对应区域也会急剧变化。2D图片的梯度大小和方向可以使用Sobel算子，而雷达点云每个像素可以先投影到球体上，其梯度可以使用最近邻的8个点进行计算[Multi-modal sensor calibration using a gradient orientation measure ]

4）3D语义标签-2D语义标签：因为对应区域的语义标签一致。语义标签可以使用深度学习获得

5）3D-2D属性对的关联：有的论文发现使用多个特征的融合效果更好，不同的属性使用正确的权重进行融合，这些属性集经常使用前述的多个属性对。

3.1.2 统计学相似性估计

1）Mutual Information（MI）：MI估计两个随机变量或者信息量的统计学相关性。依据香农熵定理，MI定义为

即各自熵和减去联合熵

其中的p分别代表边缘概率和联合概率。实际中我们可以使用雷达的反射值和像素的强度值作为两个随机变量X和Y。然后两者的概率分布可以使用一些方法计算出来，比如kernel density estimation(KDE)[Multivariate density estimation: Theory, practice and visualisation ]

2）Normalized Mutual Information（NMI）：MI会受二者信息总量的影响。对应前面提到的雷达相机的相似性变换，可能会导致很大的MI估计值，NMI通过正规化MI的值解决这个问题

 3）Gradient Orientation Measure（GOM）：其计算两个图片的梯度方向，梯度值也可作为权重。GOM与NMI的主要区别就是GOM使用点的梯度而不是强度，所以它考虑了相邻点和图片的几何特征。

4）Normalised Information Distance（NID）：它是一种可以用于匹配不同模态传感器的相似性度量方法。它的归一化属性同样比MI更优秀，因为它也不依赖与两张图片的总的信息量。所以它对两张高文理图片区域的全局图片对齐也没有坏处。

5）Bagged Least-squares Mutual Information（BLSMI）：包含基于kernel的依赖估计器和bootstrap aggregating噪声抑制方法。他相比MI的有点就是对外点更鲁棒，因为他不包含对数。

6）Mutua Information and Distance between Histogram of Oriented Gradients：其是一种联合NMI和方向梯度之间距离来估计图片间的一致性的度量方法。

当图片文理度不够时，DHOG比NMI效果好，当文理够时，NMI更精确，所以MIDHOG可以在不同场景继承二者属性。 

7）Mutual Information Neural Estimation（MINE）：使用神经网络来估计高维连续随机变量的互信息。它是可扩展、灵活，并且可以通过back-propm进行训练。它可以用于互信息估计，最大化，最小化。

MINE使用Donsker-Varadhan duality来表示MI：

 是神经网络，是神经网络的参数。

3.1.3 优化方法

3.2 基于特征

从环境中提取几何、语义或者运动特征

几何特征主要是由环境中的点或边沿等几何特征构建。语义特征主要是高层次的数据信息，例如天际线、车辆和杆。运动特征使用的是运动特性，比如位姿、速度、加速度等等。

基于特征的方法主要分为特征提取、特征匹配和外参估计

3.2.1 特征提取

1）点特征提取

Forstner 算子：

Corner：可以使用边缘检测器，比如Sobel算子。这个可以用在图片以及点云投影的强度图中。

SIFT：变种SURF也可以。

2）边缘特征提取

深度连续性-强度值差异：计算与相邻点的深度差异，剔除深度差异小于阈值的点，也可以先对点云上采样，然后计算深度梯度变化。图片中的边缘也可以通过检测形状变化进行提取。一般假设是雷达和点云中的边缘是一一对应的。

深度连续性-Sobel算子：点云使用深度连续性提取边缘，而图片使用Sobel算子、Canny检测器或者LSD算法都可以。特别的是，Canny边缘检测器使用多阶段算法检测一个较大范围的边缘，其包含噪声抑制、强度梯度估计、非极大值抑制和滞后阈值法等步骤。LSD是灰度图中基于梯度的边缘提取方法。

3D线检测器-LSD

深度连续性-Canny检测器

上述深度连续边缘可以通过稠密点云提取，比如固态雷达。特别的是，比如平面交线的变可以通过voxel分割和平面拟合获取

深度连续性-L-CNN

3）语义特征提取

值得注意的是，现实环境中有很多相似的线，增加了标定的难度。所以语义特征，例如天际线，车辆和车道线。

Skyline-Skyline

Lane and Pole-Lane and Pole

3D语义中心-2D语义中心：主要使用深度学习

 4）运动特征提取

运动轨迹-运动轨迹：可以分别获取雷达相机的轨迹，二者可以进行配准，以完成雷达相机标定。

3.2.2 特征匹配策略

Descriptors similarity：暴力匹配，最近邻搜索，其中欧式距离可以作为度量标准。需要用RANSAC剔除错误匹配的点对。

Spatial geometrical relation：直接使用空间集合关联和优化方法构建两个特征的联系。

Semantic relation：通过语义层面进行匹配，比如同为车辆上的点就可以进行匹配

Trajectory relation：同时刻轨迹可以进行匹配，其中的速度和曲率也可以进行匹配

3.3 基于自身运动

3.3.1 手眼标定

AX=XB

refine：（重点关注）

1）边缘对齐：线特征约束

2）强度匹配：有文章通过互信息度量方法将雷达反射率和相机图片强度进行对齐。

3）深度匹配：雷达深度图使用初始外参投到图片，相机深度图使用单目深度估计

4）颜色匹配：这个假设点云中的点在连续两帧图片中有颜色相同。首先将点云投影到当前图片获得对应颜色，然后根据运动信息将这个点云投影到下一帧图片。通过最小化两帧的平均差别，可以得到更精准的外参

5）3D-2D点匹配：2D特征的3D坐标通过三角化获得，结果使用非线性优化。（SFM）

3.3.2 3D结构估计

从运动的图像中恢复环境的3D结构，即SFM。然后使用ICP等配准方法，后者bundle block adjustment refine。也可以使用互信息进行全局refine。

SFM后，ICP粗匹配，然后将3D雷达点投影到图像中使用边缘特征点进行优化。

因为SFM的点数不够，ICP不够准确，文章也有设计从语义特征中进行自标定的方法，然后最大化相同目标对的overlap区域

使用目标级别的配准方法，即SFM先得到点，然后引入基于目标检测结果的目标级别的对齐。

有文章在目标级别配准后使用点ICP消除了配准误差，然后引入了基于非均匀有理基样条逼近的、基于曲线的非刚性点云配准细化步骤（they introduce a curve-based non-rigid point cloud registration refifinement step build on the non-uniform rational basis spline approximation.）

3.3.3 其他方法

尝试将从运动车辆上得到的video和雷达数据关联起来。初始外参由IMU运动信号获得，然后通过配准相机雷达的轮廓refine

开发了一个融合雷达的视觉里程计框架，将自身运动评估融合到雷达相机的标定中。主要思想就是外参质量会影响ego-motion的表现。

在高斯噪声的假设下，使用Gauss-Helmert模型进行雷达相机外参标定。给定单个传感器运动的限制，使用Guass-Helmert paradigm联合优化外参，以及降低位姿观测误差。

提出运动导向的方法，给定一系列同步好的雷达相机数据，单个计算每个传感器的运动向量，然后估计外参。

当使用运动信息进行外参标定时，需要在所有方向和所有轴的运动比较充分。如果传感器在平面运动，有的参数不可观。[Automatic multi-sensor extrinsic calibration for mobile robots ]从传感器的增量运动中计算2D参数（x，y，yaw），然后使用地面估计（z，pitch，roll）

使用dual quaternions(DQs)使用更少参数代表旋转和平移。它将优化限制在平面标定中，然后联合局部和全局优化方法估计最终结果。

3.4 基于深度学习的方法

使用神经网络模型评估外参