【简单总结】SLAM 算法的 Benchmark 及相关数据集的结果对比
前言与参考
主要是copy一下总结，方便自己后续找方案特定使用，所有的出处均在标题处和原链接跳转，此处仅做各个benchmark收集使用，如果有原作者觉得侵权，请联系我 将全力配合相关内容和链接删除
如果网友有其他更新的结果推荐，可在评论区留言 我将继续加入；因为年年出结果 肯定会使得一些算法不再state-of-art，可以点击目录跳转当年最新的 这样比较快
最后本人不是SLAM专业赛道选手，所有的方案特点总结也都以各链接作者和网友讨论为主，如有不同看法 请点击去相关issue和链接一起讨论~ peace and love!
2020 SLAM Comparison
GITHUB原链接：https://github.com/Tompson11/SLAM_comparison
这是我看到的第一个SLAM方案对比，基本把2020之前的方案及特点都讲清楚了，但是2020年后也出现了很多很多优秀的SLAM方案~~
松耦合是指：可以不要IMU/其他的，紧耦合方案：需要所有传感器在线
以下为摘取原文，请点击原链接查看更为详细的内容
方案及特点
本次我共测试了github上开源的8种方案，按照特点可分为
| 特点 | 方案 |
|---|---|
| 纯Lidar | A-LOAM(港科大版本的LOAM)，hdl_graph_slam，BLAM |
| Lidar与IMU松耦合 | LeGo-LOAM，SC-LeGo-LOAM(在LeGo-LOAM上使用了一种新的回环检测方法) |
| Lidar与IMU紧耦合 | LINS，LIO-SAM，LIOM |
总结
- 各种方案的优缺点如下：
| 方案 | 优点 | 不足 |
|---|---|---|
| ALOAM | 1. 在几何特征丰富时比较稳定 | 1. 后期内存会出现爆炸，计算效率下降 2. 在几何特征较少时会产生明显漂移 |
| LeGo-LOAM | 1. 在地面点丰富时比较稳定 2. 轻量级 |
1. 在地面点缺乏时很容易崩溃 2. 得到的地图比较稀疏 |
| LINS | 1. 轻量级 | 1. z方向漂移明显 2. 得到的地图比较稀疏 3. 目前的版本要求Lidar与IMU体坐标系的xy平面平行，不接受自己提供的外參 |
| LIO-SAM | 1. 存在回环检测，能较好地闭合回环 2. 稳定性强 3. Demo看起来比较舒服 |
1. 在几何特征丰富的情况下可能不如ALOAM |
| LIOM | 1. 存在重力加速度的校正和IMU初始状态估计 | 1. 稳定性不好，有时性能好，有时又不行，可能与其初始化环节的性能有关 2. 内存占用大，时间性能较差 |
- 在进行IMU校正后，融合高频IMU确实能够提升SLAM性能，尤其是在几何特征缺乏或者剧烈运动的情况下。
LIO-SAM在定位和建图方面做的都不错，比较建议使用。
2021年有网友的issue链接讨论的也很有意思，希望大家也不要错过，反正我第一次看到的时候 挺快乐的 吸取前人大佬们经验 hhhh：https://github.com/Tompson11/SLAM_comparison/issues/1
@Gatsby23: 感谢作者做出了如此丰富的对比试验，完全让我没想到的是LINS能达到这么好的效果。因为看LINS的代码和论文，Lidar和IMU的紧耦合结果仅仅作为初值送入Mapping Module，Mapping Module本身还需要再做一次Scan-to-Map的ICP，所以我自己尝试过在不同初值下的Scan-to-Map的结果，发现得到结果差距不大，但没想到实际效果中LINS的结果如此的好。不过可能也有两方面的原因：一方面是在LINS的代码中有通过重力方向来校正Roll和Pitch的过程。这个可能对车体运动本身有较好的校正效果。二是在一些激烈运动中，需要较好的初值才能收敛，这是我做实验不足和没有想到的地方。
但我更推荐作者去尝试现在新出的两种算法：F-LOAM和Fast-LIO。特别是FAST-LIO是基于当前帧与地图的观测来做更新，理论上能取得更好的效果。
@chengwei0427：紧耦合的效果会比松耦合效果要好（约束更多，同样对传感器要求也更高），这个也必将符合预期；
lego_loam表现虽然让人诧异，但也符合其工作原理（scan-to-scan效果很差，这也是不如aloam的地方）；
@chengwei0427：如果我没有记错，lego_loam的地面点是放到surf里，参与优化的，所以对地面的约束还是有的。lio_sam的特征提取，相比于lego，去掉了非地面点中的聚类及点数少的点簇移除，移除地面是为了保证靠近地面的点不参与corner特征提取。
bias约束，也是为了提高积分的精度，这样lio_sam中的初值会更加准确，但是imu是没有参与优化的，仅提供初值；（实际测试没有用gnss）。
所以，lio_sam和lego_loam的scan_to_map除了特征差别外，就是初值的差异了；这里，是特征的影响大，还是初值的影响更大呢？并且实际测试中，lego相比lio，迭代的次数更多，不收敛的情况也更多
@Gatsby23: 嗯嗯，多谢提醒，有些忘了Lego-LOAM。如果我没记错的话，LEGO-LOAM的优化是拆开的，所以可能欧拉角拆开来优化并不是一个好结果？我个人觉得特征保下限，初值冲上限。你可以把匹配点关系映射出来看看
@chengwei0427: 最近测试了一下LIO-Livox，觉得效果挺好的。所以就适配了一下传统旋转激光（主要是用lio-sam做的特征提取，激光里程计用LIO-Livox的去做，几乎不用怎么修改）。
用的ouster-64采集的数据，采集速度大概在0.7~1.2m/s（LIO-Livox声称支持50km/h以上的速度进行构图），但是运行一段时间就会出现轨迹漂移（激光10hz和imu数据100hz，都是ouster提供，所以已经是硬件时钟同步，imu-lidar的外参用的单位矩阵，实际上应该是有个小的平移变换的）。
现在卡在这里了，一直没找出问题在哪里？想听听你是什么看法？
可能的原因有：
①激光和imu的外参精度不够导致的。（因为没有标定，直接使用单位阵，而ouster里激光和imu应该也是接近单位阵的，这里的细微差距，对结果影响有多大，看了代码，主要是激光残差部分，如果本身接近单位阵，这里理论上应该影响也很小的）；
②LIO-Livox的紧耦合，受传感器精度影响，特别是imu精度；（ouster内置100hz的imu，并且bias很大，在LIO-Livox中，是两帧的滑窗紧耦合，imu预积分结果受imu精度影响到底有多大呢？）
PS：同样的bag，也测试了lio-sam，效果蛮好的，当然，lio-sam的紧耦合，比较特别。
期待你的回复！
@Gatsby23 几个问题吧：
是我看别人说的：Ouster的世界戳不一定做到了真正硬同步，这个还是要测试看一下，可以把数据采下来后离线观察下？不行的话可以考虑加个插值来平滑下，然后去畸变（不过这个我也是纸上谈兵，具体没操作过）。
外参的问题我觉得你可以跑下FAST-LIO看下结果，看最后是不是收敛就基本上知道这个外参怎么样。我是直接跑FAST-LIO，发现收敛后的平移误差和我标定出来的差不多。
LIO-Livox有一个很重要的约束是NHC，用地面来约束角度，所以得看你们录制的数据是不是完全平行于地面？如果抖动比较大的话，也会造成比较大的影响。
最好能上最后的轨迹图来看看，如果说是跑了1KM以上飘的话，还是比较正常的
@chengwei0427: LIO-Livox是基于优化的方法，不是基于滤波的方法，跟lili-om有些相似。你可能是看的太多，又搞混了。
这里我是把LIO-Livox的特征提取部分，参考lio-sam的特征提取，修改为支持spinning激光；优化部分几乎没改，用的还是LIO-Livox的poseEstimation，所以大概率不是代码问题，而是我参数的问题，特别是lidar-imu参数。
比较诡异的是，如果我按照ouster内部的lidar-imu参数去设置fast-lio里的初值，稍微一动就会漂移；如果设置lidar-imu里旋转用单位阵，平移给一个参数，效果反而还不错。
2022 SLAM Application
原链接：https://github.com/engcang/SLAM-application
这个没有结果直接指明，而是把跑的算法都给了video和结果pcd/odom.txt
以下为摘取原文，请点击原链接查看更为详细的内容
Results:
video: Lego-LOAM vs LIO-SAM vs LVI-SAMvideo2: LIO-SAM vs LVI-SAMvideo3: LIO-SAM vs FAST-LIO2video4: FAST-LIO2 vs Livox-mapping vs LOAM-Livox usingLivox Mid-70 LiDAR, real-worldvideo5: FAST-LIO2 in the building with narrow stairs usingOuster OS0-128, real-worldvideo6: FAST-LIO2 in the narrow tunnels usingOuster OS0-128on the UAV (drone)video7: Faster-LIO vs FAST-LIO in the building with narrow stairs usingOuster OS0-128, real-worldvideo8: VoxelMap in the building using
2022 HKUST DATASET
IROS2022论文：FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms
数据集里的设备传感器配置
硕士所在组，虽然没参与 但是也学到了很多；这篇正在建立更多的数据集 并扩展为期刊中，请通过此网页链接了解哦~ https://ram-lab.com/file/site/multi-sensor-dataset/
以下为在此数据集上测试的定位结果，直接从IROS2022论文中截取：
2022 NTU DATASET
IJRR 2021： NTU VIRAL: A Visual-Inertial-Ranging-Lidar dataset, from an aerial vehicle viewpoint
之所以写2022是因为作者还在持续维护这个数据集，同时加入各个算法在此数据集上的使用与评估
数据集里的设备传感器配置
悄悄话：博士组里第一作者天明大哥过来博后，上课的时候用的他们的数据集，所以就熟悉了一下 并且发现天明大哥写的scripts真好用；
2022/12/21 从网页截取的数据集适配的方法：
| Method | Repository | Credit |
|---|---|---|
| Open-VINS | https://github.com/brytsknguyen/open_vins | Forked from https://github.com/rpng/open_vins |
| VINS-Fusion | https://github.com/brytsknguyen/VINS-Fusion | Forked from https://github.com/HKUST-Aerial-Robotics/VINS-Fusion |
| VINS-Mono | https://github.com/brytsknguyen/VINS-Mono | Forked from https://github.com/HKUST-Aerial-Robotics/VINS-Mono |
| M-LOAM | https://github.com/brytsknguyen/M-LOAM | Forked from https://github.com/gogojjh/M-LOAM |
| LIO-SAM | https://github.com/brytsknguyen/LIO-SAM | Forked from https://github.com/TixiaoShan/LIO-SAM |
| A-LOAM | https://github.com/brytsknguyen/A-LOAM | Forked from https://github.com/HKUST-Aerial-Robotics/A-LOAM |
| FAST_LIO | https://github.com/Kin-Zhang/FAST_LIO | Kindly provided by Kin-Zhang @ KTH RPL |
这是2021IJRR论文里的结果table：
2022 Hilti Challenge
在港科的时候 看老胡每天都在吐槽这个数据非要旋转的这么抖 hhhh，链接直接给到了axriv上这样大家可以直接去类似于一个report报告的形式看到各个提交队伍 基于的是哪个方法，虽然大部分并没把他们去评估的代码开出来
设备：
结果，具体分数的评估方法 可以去论文里看哈
