CamVox SLAM 论文翻译和总结
CamVox SLAM翻译和总结
论文: Zhu Y, Zheng C, Yuan C, et al. Camvox: A low-cost and accurate lidar-assisted visual slam system[J]. arXiv preprint arXiv:2011.11357, 2020.(ICRA 2020)
github: https://github.com/ISEE-Technology/CamVox。
目录
- CamVox SLAM翻译和总结
- 一、摘要
- 二、固态激光雷达的优势
- 三、CamVox系统
-
- 3.1 硬件和软件
- 3.2 预处理线程
- 3.3 外参数自动标定
- 四、结果
-
- 4.1自动标定
- 4.2 特征点的深度阈值
- 4.3 轨迹比较
- 4.4时间消耗
- 五、结论
一、摘要
提出一种CamVox SLAM算法，将Livox 固态激光雷达融合进ORB-SLAM2中，实现了大尺度大场景下的鲁邦"RGB-D"SLAM。主要内容包括:
- 融合雷达和相机输入的预处理操作。激光雷达的非重复扫描导致的畸变由imu进行校正，雷达和相机进行时间同步之后将其转换到相机坐标系下。
- 对激光雷达点云的精度和探测范围与其他深度传感器进行了比较
- 非合作环境下相机和雷达的自动外参标定
- 与主流的算法框架Vins-Mono和Loam进行了比较和性能评估
- 开源了CamVox的硬件，算法和数据
二、固态激光雷达的优势
现有的纯视觉双目系统和RGBD相机系统（ORBSLAM2等）在室外大尺度环境下深度估计严重不足。常规的RGBD相机对光照比较敏感，且探测距离有限，一般有效距离小于10米。视觉惯性系统（ORBSLAM3, VINS等）可以解决尺度的问题，但是需要对imu进行严格标定和bias补偿，一般消费级imu精度不够，高精度imu价格又过于昂贵。
激光雷达天然的可以提供三维空间的尺度测量。典型的LOAM系统可以达到相比视觉更高的定位和建图精度，但是在缺少显著结构特征的环境（比如长通道和高速路）中容易运行失败。 LeGO-LOAM进一步改进，基于分割和聚类实现了更高效的特征提取，而且增加了回环检测消除长期漂移。
将相机和激光雷达进行融合，既可以得到大尺度高精度的深度信息，又可以得到丰富的颜色信息。V-LOAM将单目相机和激光雷达进行松耦合，据称可以实现足够高的精度，甚至回环都没有必要。
激光雷达在实际使用中价格略贵，Livox新出的棱镜扫描式固态激光雷达，可以实现性能优异，价格低廉的特性。这种新的扫描方式运行进行非重复式扫描，在时间累积的基础上可以实现更高密度的点云信息。100ms的累积，Livox Horizon可以达到类64线传统激光雷达的精度，且可持续增长。这个优势可以有效解决传统激光雷达在两条线之间缺乏足够特征导致的雷达相机联合标定困难的问题。棱镜设计也具有更大的光学孔径，可以实现更远距离的探测。比如Horizon型号可以在强烈阳光下探测260米远。下图为Livox激光雷达的扫描累积图：
三、CamVox系统
- 系统基础基于RGBD模型的ORB-SLAM2
- 可在非合作环境中实现自动外参数标定
- 系统使用雷达辅助的视觉关键帧生成局部地图
- ORBSLAM2中的后端位姿图优化，BA，回环进一步提升系统鲁棒性
3.1 硬件和软件
硬件：
- 滚动快门相机: MV-CE060-10UC
- Livox Horizon雷达(800 USD))
- IMU: Inertial Sense µINS
- GPS-RTK for GT: Inertial Sense
- Realsense D435 RGBD for comparison
µINS
软件：
- 所有传感器硬件时间同步以10Hz频率触发
- 雷达和GPS-RTK进行同步
- IMU以200Hz触发输出
Pipeline:
- 主线程为ORB-SLAM2
- 预处理线程进行雷达和相机的时间同步和RGBD帧整理输入
- 自动标定线程可以被触发进行雷达相机的外参标定，可以在机器人静止和无人为干扰时自动触发
3.2 预处理线程
- 输入：原始的激光雷达点
- 操作1：基于IMU的输出姿态进行雷达畸变矫正(见图5)
- 操作2: 基于雷达-图像的外参数将激光点投影到图像坐标系
- 输出:将RGB彩色图像和雷达的depth图想组合为尺寸一致，像素对齐的RGBD帧 （图3.c和3.d）
由下图可见，激光雷达可以有效处理超过100米距离的深度。但是深度相机RealSense则不能探测超过10米的物体，且在阳光下噪声较大。
3.3 外参数自动标定
对于CamVox这种支持远距离深度探测的系统，外参数标定非常重要。因为一个较小的角度失准，则会导致较大的深度对齐误差。离线状态下使用棋盘格进行标定的结果不总是有效的，当存在传感器固定失败或者发生剧烈碰撞时便会导致较大的误差。
由于固态激光雷达的非重复扫描特性，可以使得在任何场景下进行自动的雷达-相机外参数标定。自动标定的触发条件设为:检测到机器人处于静止状态持续几秒后(为了消除运动模糊)，在此期间进行雷达数据累积。
- 第一步: 采集静止状态下的雷达反射图和深度图，相机采集彩色图像并灰度化 ；
- 第二步: 基于初始外参将雷达反射图和深度图投影到图像平面，并各自进行轮廓提取；
- 提取前先做直方图均衡化
- 使用Canny边缘算法进行轮廓提取
- 边缘长度小于200像素的被剔除
- 边缘内部聚集在一起的被剔除
- 第三步: 基于一个优化的ICP算法构建目标函数，并使用Ceres进行优化，得到更精确的外参数;
- 使用K-D tree进行了最近点的加速搜索
- 对常规cost-function进行了优化，为了消除错误匹配点的影响（n表示相机边缘点对应的一定距离阈值内的雷达点数量，m表示最近邻近点的相机数量，N表示所有的相机点，b是权重因子，文中设为10）。因此，此处的目标函数相当于是每个点的误差平均值，因此可以在不同的场景间进行横向比较。
- 第四步: 将优化的外参数和之前的外参数进行对比，并进行决策是否更新预处理线程中的外参数。
四、结果
4.1自动标定
下图8.a为未标定时，外参失准角大概是2度，cost function是7.95。自动标定触发后是8.b，cost function是6.11。８.c是最好的标定结果，cf为5.88。同时，在其他几个不同的在线场景(8.d-8.f)，自动标定结果也都较为有效可靠。
4.2 特征点的深度阈值
对启动CamVox之后的前100帧数据进行分析，匹配点数量与特征探测距离的曲线图见下。探测距离越远，则匹配的点对越多。但是超过一定范围之后，对应的关系就会变化缓慢，文中推荐距离阈值为130米。
4.3 轨迹比较
CamVox非常接近GT，且性能明显优于Livox_horizon_loam和VINS-Mono。
4.4时间消耗
在4核Inter Core i7-8550U中的运行时间见下，CamVox可以实时运行。外参自动标定花费58秒。
五、结论
作者提出一种低成本雷达辅助的视觉SLAM框架，目标是综合最好的相机角分辨能力和最好的雷达深度探测能力。