关于激光雷达和视觉融合的里程计研究总结

根据设计的里程计系统中雷达和相机所起作用的比重不同，可大致分为3类：一类是视觉辅助激光的，一类是激光辅助视觉的，另一类是激光和视觉里程计相互融合相互矫正的。下面将具体解释一下这三类融合方案。

• 视觉辅助激光。前期通过在查找国内外文献发现，国内的研究基本都是这种方式，一般是利用视觉信息来提高激光SLAM系统的闭环检测的准确性，或者是辅助重定位，或者是在位姿估计阶段构建激光特征的变换误差和视觉重投影误差联合优化函数提高位姿估计的鲁棒性，也有通过视觉引入环境的语义信息（针对动态环境），然后构建更加精确的二维栅格地图用于机器人定位导航。
• 激光辅助视觉。这方面比较有代表性的研究是LIMO。需要3维空间的激光点云，如果使用的是单线雷达也要通过加上电机带动其旋转或者上下平移来获取三维空间激光点云。然后通过把激光点云投影在像平面上再估计出视觉特征的尺度，然后再做视觉里程计，而激光只是起到一个辅助的作用不进行基于激光点云匹配的位姿估计。并且在后续优化过程中也会增加一个尺度约束（即特征通过雷达点云恢复的精确尺度与相机位姿估计后得出的特征尺度构建一个误差项）。
• 激光视觉相互辅助的。这个经典的方案是来自zhangji的V-LOAM的思想，因为雷达的扫描频率低于相机获取图像的频率，因此在雷达扫描一圈的时间内先进行视觉VO估计图像相机的位姿，然后再利用这个位姿进行激光点云的运动畸变矫正，然后通过相邻扫描间矫正后的激光点云进行匹配来估计出相对位姿，然后对视觉估计的位姿进行矫正，然后再通过校正后的位姿再一次对雷达点云进行畸变矫正。最后把矫正后的点云映射到局部地图中，用于后续的位姿优化。

关于激光和视觉融合的方案：也有先通过昂贵的激光传感器先构建环境的地图，然后通过廉价的单目相机进行定位导航，并通过将环境的彩色信息根据相机的位姿与激光点云进行匹配，最后通过可视化的效果可以看出相机的定位精度。

以上个人拙见，欢迎批评指正!