相机和激光雷达联合标定学习
1 相机和激光雷达标定
1.1 离线标定
使用标定板的标定方法
1.1.1 相机和激光雷达标定工具箱Matlab
2005年的标定方法，实测有效，这儿有改进版
自测总结：
1、标定时依靠matlab相机标定工具箱，该工具箱对标定板离相机距离有较高的要求，太远了会导致距离误差放大，使得标定板在相机坐标系下的位置测量不准
2、光照不同会使得图像内标定板模糊，应尽量保证标定板的清晰程度
3、算法的各种RMS可以成为评价指标
4、可以尝试ROS下的相机标定方法，看大佬博客是可以远距离标定相机的
无需要标定板，利用传感器之间互信息进行标定，在全景相机和激光雷达数据之间进行测试，2012年的方法
的源码可以参考，论文在此（An automatic calibration between an omni-directional camera and a laser rangefinder for dynamic scenes reconstruction），2016年IEEE上，准备关注一下此人，跟进学习一下算法，博客位置在此，嘻嘻。
这篇博客讲的也挺好的，列举了一些参考文献，下一步要学习，
lidar与camera之间的外参数标定
湾区自动驾驶创业公司ZooX的co-founder和CTO是Sebastia Thrun的学生Jesse Levinson，他的博士论文就是传感器标定。找到博士论文： Automatic laser calibration, mapping, and localization for autonomous vehicles， 2011。
东京大学的论文“LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry”产生初始值
斯坦福论文“Automatic Online Calibration of Cameras and Lasers”进行匹配迭代优化
密西根大学的论文“Automatic Targetless Extrinsic Calibration of a 3D Lidar and Camera by Maximizing Mutual Information”。
澳大利亚悉尼大学的论文“Automatic Calibration of Lidar and Camera Images using Normalized Mutual Information”。
西安交大论文，黄浴，“Integrating Millimeter Wave Radar with a Monocular Vision Sensor for On-Road Obstacle Detection Applications”。
RegNet，原文位置正在查找和CalibNet，文献来源：CalibNet: Geometrically Supervised Extrinsic Calibration using 3DSpatial Transformer Networks。
提供了较多的思路和源码方案
ROS有相应的工具Autoware，
安装教程：（1），（2）
安装后Demo教程，
中文标定教程1，
中文标定教程2
中文标定教程3
中文标定教程4
中文标定教程5
- 实践中，正在安装Autoware，写一个自己的教程
阿波罗标定工具，比较成系统的，都在里面
基于ROS1的激光雷达和立体相机标定方法
but_calibration_camera_velodyne工具使用，属于but_velodyne的一个分支，需要安装点云处理库but_velodyne_lib，参考文献：Calibration of RGB Camera With Velodyne LiDAR
Automatic Extrinsic Calibration for Lidar-Stereo Vehicle Sensor Setups，2017年的文献源代码
文献阅读笔记
LiDAR-Camera Calibration using 3D-3D Point correspondences，2017年的文献，源代码
[4] D. Scaramuzza, A. Harati, and R. Siegwart, “Extrinsic Self Calibrationof a Camera and a 3D Laser Range Finder from Natural Scenes,” inProc.IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS), 2007, pp. 4164–4169.
三角形标定物
S. Debattisti, L. Mazzei, and M. Panciroli, “Automated Extrinsic Laserand Camera Inter-Calibration Using Triangular Targets,” inProc. IEEEIntelligent Vehicles Symposium (IV), 2013, pp. 696–701.
多边形标定物
Y. Park, S. Yun, C. S. Won, K. Cho, K. Um, and S. Sim, “Calibrationbetween Color Camera and 3D LIDAR Instruments with a PolygonalPlanar Board,”Sensors, vol. 14, no. 3, pp. 5333–5353, 2014.
球形标定物
M. Pereira, D. Silva, V. Santos, and P. Dias, “Self calibration ofmultiple LIDARs and cameras on autonomous vehicles,”Robotics andAutonomous Systems, vol. 83, pp. 326–337, 2016.
Ruichek利用平面板目标进行标定，平面板有两个特点，一是形状确定，而是距离信息容易获取
Y. Li, Y. Ruichek, and C. Cappelle, “3D Triangulation Based ExtrinsicCalibration between a Stereo Vision System and a LIDAR,” inProc. IEEE International Conference on Intelligent Transportation Systems(ITSC), 2011, pp. 797–802.
Scott用一个精确地移动跟踪系统处理了非覆盖场景的情况
T. Scott, A. A. Morye, P. Pini ́es, L. M. Paz, I. Posner, and P. Newman,“Exploiting Known Unknowns: Scene Induced Cross-Calibration ofLidar-Stereo Systems,” inProc. IEEE/RSJ International Conference onIntelligent Robots and Systems (IROS), 2015, pp. 3647–3653.
Geiger提出了一种利用多标定板在固定场景中的一帧数据实现标定的方法。该方法为KITTI数据集的标定方法，直接采集数据发送，Web远程将标定结果返回
A. Geiger, F. Moosmann, ̈O. Car, and B. Schuster, “Automatic Cameraand Range Sensor Calibration using a single Shot,” inProc. IEEEInternational Conference on Robotics and Automation (ICRA), 2012,pp. 3936–3943.
Velas提出了一种基于标定板的圆形特征，采集一帧数据即可实现标定的方法
M. Velas, M. Spanel, Z. Materna, and A. Herout, “Calibration of RGBCamera With Velodyne LiDAR,” inComm. Papers Proc. InternationalConference on Computer Graphics, Visualization and Computer Vision(WSCG), 2014, pp. 135–144.
缺点：设计针对稠密点云，稀疏点云效果可能不会很好
1.2 在线标定
不使用人做的目标，利用环境特征的标定方法
Moghadam提出应用场景的线条特征进行匹配，适用于在室内场景
P. Moghadam, M. Bosse, and R. Zlot, “Line-based Extrinsic Calibrationof range and Image Sensors,” inProc. IEEE International Conferenceon Robotics and Automation (ICRA), 2013, pp. 3685–3691.
Rodrıguez利用了交通环境中地面的平面特征和障碍物特征进行匹配实现标定
C. H. Rodrıguez Garavito, A. Ponz, F. Garc ́ıa, D. Mart ́ın, A. de aEscalera, and J. M. Armingol, “Automatic Laser And Camera extrinsic Calibration for Data Fusion Using Road Plane,” inIEEE International Conference on Information Fusion (FUSION), 2014.
Levinson and Thrun提供了一种通过计算场景的不连续的方法，检测误标定情形，实现在线标定。
J. Levinson and S. Thrun, “Automatic Online Calibration of Camerasand Lasers,” inRobotics: Science and Systems, 2013
标定方法的评估仍然是一个开放的问题，