无目标场景下高分辨率激光雷达和相机的像素级外参自标定
文章：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera
in Targetless Environments
作者：Chongjian Yuan, Xiyuan Liu, Xiaoping Hong, and Fu Zhang
编译：点云PCL
代码：https://github.com/hku-mars/livox_camera_calib.git
来源：arxiv 2021
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957（请务必按照文章尾部要求备注添加，否则不予通过）。
摘要
在这篇文章中我们提出了一种在无目标场景中自动实现激光雷达和RGB相机的外参标定的新方法，该方法不需要棋盘格，但可以通过对齐两个传感器中的自然边缘特征来实现像素级精度，在理论层面上，我们分析了边缘特征施加的约束以及标定精度对场景中边缘分布的敏感性。在实现层面，我们仔细研究了激光雷达的物理测量原理，提出了一种基于点云体素切割和平面拟合的高效、准确的激光雷达边缘提取方法。由于自然场景中边缘的丰富性，我们在许多室内和室外场景中进行了实验，结果表明，该方法具有较高的鲁棒性、准确性和一致性，它可以促进激光雷达与相机融合的研究和应用，并且我们已经在GitHub上公开了代码，以使社区受益。
图1：使用该方法对三个对齐的激光雷达扫描进行着色的点云。
主要贡献
1， 仔细研究了基本的激光雷达测量原理，这表明常用的深度不连续边缘特征对于校准来说既不准确也不可靠。
2，提出了一种新的、可靠的深度连续边缘提取算法，该算法可以获得更精确的校准参数
3，评估了我们的方法和实现在各种室内外环境中的健壮性、一致性和准确性，并将我们的方法与其他最先进的方法进行了比较。结果表明，该方法对初始条件具有鲁棒性，与标定场景一致，在自然环境中达到了像素级标定精度。
4 ，我们的方法具有精确的精度（有时甚至优于基于目标的方法），并且适用于新兴的固态和传统旋转激光雷达。在此基础上，我们开发了一个实用的标定工具，并在GitHub上开放源代码，以造福社区。
主要内容
A.边缘提取与匹配
1）边缘提取
下图展示了点云边缘提取中两种不同的情况
深度不连续边缘和深度连续边缘。
2）边缘匹配
图6总结边缘提取的整个过程：首先将点云划分为给定大小的小体素（例如，室外场景为1m),对于每个体素，我们反复使用RANSAC拟合和提取体素中包含的平面，然后，我们保留在一定范围内（例如，[30°；150°]）连接并形成角度的平面对，并求解平面相交线（即深度连续边）。该方法能够提取体素内相互垂直或平行的多条相交线，此外通过适当选择体素大小，甚至可以提取曲线边缘。
提取的激光雷达边缘需要与图像中相应的边缘匹配，对于每个提取的激光雷达边缘，在边缘上采样多个点。每个采样点被转换到相机坐标系下（使用当前外部估计）进行外参估计。下图展示出了提取的LiDAR边缘（红线）、图像边缘像素（蓝线）和对应（绿线）的示例。
B.外参标定
1) 测量噪声模型
2）标定的公式推导与优化
这部分内容公式比较多，有兴趣可以进知识星球下载论文原文查看：
实验
在各种环境的实验中验证了所提出的方法，使用名为Livox AVIA的固态激光雷达，由于其非重复扫描，可在静止状态下实现高分辨率点云测量。
传感器套件，左侧是Livox Avia1激光雷达和Intel Realsense-D435i2相机，右边是旋转激光雷达（OS2-643）和工业摄像机，用于在固定分辨率激光雷达上进行验证
标定场景
为了验证整个流程的稳健性，我们分别在6个场景中的每个场景上以及在所有场景中测试它，对于每个场景设置，将执行20次测试运行。
所有场景设置的收敛外参值的分布，可以看出，在每种情况下，无论初始值分布的范围有多大，外参值都会收敛到几乎相同的值，
上图显示了说明校准流程前后差异的视觉示例。激光雷达投影图像叠加在相机图像上，带有初始（左）和校准的外参（右），激光雷达投影图像通过测量点强度上的贴图进行着色。我们的整个流程，包括特征提取、匹配、粗略校准和精细校准，只需不到60秒。
标定方法的对比效果
总结
针对无目标环境下的高分辨率激光雷达和相机，提出了一种新的非本征标定方法。我们从基本的激光雷达测量原理出发，分析了不同类型边缘和边缘提取方法的可靠性，在此基础上，提出了一种基于体素切割和平面拟合的激光雷达边缘提取算法。此外，我们还从理论上分析了边缘约束和边缘分布对外参校准的影响，然后结合精确的激光雷达噪声模型，提出了一种高精度、一致性、自动、无目标的标定方法，各种室外和室内实验表明，我们的算法可以达到与基于目标的方法相当的像素级精度，它在各种自然场景中也表现出高度的鲁棒性和一致性。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
