A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记

一、Introduction
1、他人已经做过的工作:结构光传感器与热敏相机的融合;更高分辨率(32线以上)的3D/2Dlidar与热敏相机的融合。(本文中用的VLP-16线的,因为结构32线的3D点云的密度比VLP-16线的高二倍,更容易提取出共同的特征点)。本文用VLP-16与热敏相机的融合。
2、采用的方法:第一步,采用KITTI标定工具箱(ICP)获取VLP-16与视觉相机的转换矩阵;第二步,采用张氏标定法获取视觉与热敏相机的转化矩阵。

二、Literature Review
在与热敏相机的标定中最好在棋盘上采用非对称的圆孔(asymmetric circuclar holes)标定的外参精度更高。

三、Methodology
从雷达坐标系L转换到视觉相机坐标系C的转换矩阵为 ,类似如下
A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记_第1张图片

1、 3D Lidar与视觉相机的标定
使用KITTI标定工具箱进行,同时在不同位置与方位放置多个棋盘,这样只进行一个的扫描就能采集到所需要的数据。
工具箱的输出是 而非 ,故通过公式转换:
在这里插入图片描述

通过ICP算法计算出参数 :首先将相机坐标系C下的点转换到雷达坐标系L下面记为 ;然后在L坐标系下找到距离 最近的点,记为 ,最后通过最小化误差平方的方法求取 的最优解。
在这里插入图片描述
而在棋盘 与相机之间的转换矩阵 和 可通过单应矩阵H进行计算出来(此时是知道相机内参K的):

A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记_第2张图片
A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记_第3张图片
确保精度的几个技巧:
至少3个棋盘被使用进行标定,文中使用了6个;
距离相机3-5m远,棋盘使用7*9的格子;
棋盘应填充在整个空间,尤其上下左右四个方向;
棋盘放在不同方位与不同的位置,可以获得不同的矩阵H;
棋盘材料反射性不可以太强,不能有强光;
时间要同步;

2、视觉相机与热敏相机的标定
用张氏标定法进行。
技巧:
热敏相机距离棋盘需要近一点,因为视觉相机的视野更宽,焦距更长;
采用4*11的非对称的圆孔棋盘;
环境要严格控制,棋盘要与背景环境有足够的温差,有利于热敏相机;
采集40对图像进行对比,标定误差应小于1像素。

四、实验结果
构建彩色点云:
首先将激光雷达的点云数据投影到相机的二维图像上,然后在重投影回到三维点云上。
构建温度点云:
同上。公式类似如下,
A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记_第4张图片
A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记_第5张图片
A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记_第6张图片

以后可能会做一个集成色彩与温度的多机器人构图系统。

兼职代做各种算法设计: 淘宝店铺:【专业代做工科设计】https://m.tb.cn/h.ec9Xric?sm=71d228 点击链接,再选择浏览器咑閞;或復|制这段描述¥7DJfYYc8H7p¥后到淘寳 微信号:dida_daizuo

你可能感兴趣的:(SLAM,SLAM,calibration,lidar,camera)