15-[LVI-SAM]分析总结

2021SC@SDUSC

LVI-SAM分析总结

​ 这是我的LVI-SAM代码分析的最后一篇。在这一篇,我会做一个总结,对我前面的Blog做一个综述,分享在分析的过程中,我的收获。

文章目录

  • LVI-SAM分析总结
    • 1. 综述
    • 2. imageProjection
    • 3. visual_feature
    • 4. visual_odometry
    • 5. 节点交互
      • a. imageProjection
      • b. visual_feature
      • c. visual_odometry
    • 6. 收获

1. 综述

​ 在LVI-SAM的代码分析中,我负责分析lidar模块的imageProjection节点和视觉模块的visual_feature节点。后来,我又帮助小组的另外一个同学,分析visual_odometry节点。

​ 而对于我们整个小组来说,我们已经把lidar模块的所有部分完成。但可惜的是,视觉模块并没有分析所有完所有的节点,因此还没有办法把这2个模块串起来做个总结。

​ 下面,我将分别总结一下对每个节点的分析,然后,再把我的节点和其他队友分析的部分串联起来总结。最后,我会再讲述一下我的收获。

2. imageProjection

​ 该节点主要用于订阅IMU、里程计、原始lidar三个话题的信息,然后进行信息整合,筛选出有效的lidar点云,并转化成世界坐标系中,并把这个转化好的基于世界坐标系的lidar点云图发布出去。而在这里,需要分析代码,需要学会一点额外的运动学方面的知识。比如:什么是TF变换,位姿是怎么表示的,什么是仿射变换等等。而只有先弄明白这些,才能理解代码的思想。

3. visual_feature

​ 节点订阅imageProjection节点的发布的基于世界坐标系下的lidar点云图话题,获得世界坐标系下的lidar点云图,从中找到特征点,通过光流追踪算法,一直跟踪这些特征点。并结合获取到的lidar点云图,获得深度信息,重新封装并发布。同时,这里还会发布一个是否重启视觉部分的信号。

​ 而这里,虽然是视觉部分,但也用到了lidar模块的信息,需要从lidar点云图话题,去获取图像某个特征点的深度信息。而这个获取深度信息,也需要用到很多运动学的知识。比如说,怎么归一化2d特征到单位球体上。因为这个比较简单,我就没有单独去介绍,因为很多计算,都需要用到归一化。后面,还提到了k-d树,而这个,我也刚好接触过,也实现过,因此,分析起来比较舒服。

​ 但后面涉及到了图形学的东西——光流追踪算法。而理解这个算法,又需要知道什么是光流,总之这样一层层的深入,便慢慢的理解了这个节点的内容。

4. visual_odometry

​ 这个节点是我比较陌生的。因为我分析这个节点,也只分析了2周的时间,对于其中细节的实现,没有那么深究。这个节点需要订阅前面需要的visual_feature发布的带有深度信息的lidar点云图,然后还会需要订阅重启信息以及原始IMU信息,以及经过IMU预积分得到的里程计信息。最后会利用视觉特征点的信息初始化,再利用IMU,得到更精确的里程计信息。

​ 这个节点一共有3个回调函数,一个主线程。3个回调函数存储接受到的数据,主线程负责核心的计算处理,以及信息的发布。而这个主线程就用到了我们前面分析的visual_feature节点的输出——带有深度信息lidar点云图。然后,用这些信息,可以得到更精确的里程计信息。而如何计算出来的,我在之前的blog中也有分析,但很可惜,我没办法去进一步探究其中的原理,比如所IMU预积分,什么是IMU的参数PQV。

5. 节点交互

​ 下面是我的代码分析部分,和队友的节点代码分析的结合。

a. imageProjection

​ 在上面我们已经提到,这个节点订阅IMU信息,里程计信息,和原始lidar三个话题的信息。而其中,IMU信息和原始lidar信息都是直接从传感器获得的原始数据。而里程计信息则是通过visual_odometry节点获得。而visual_odometry又订阅了visual_feature的话题,而visual_feature又订阅了imageProjection的话题,而这就形成了一个环(见下图)。

​ 而这其实只是假象。因为,imageProjection并不是直接使用获得的里程计信息,而是根据时间,计算出需要的里程计信息,而计算所需要的,可能是上一个时间帧的里程计信息,因此,这个环有助于精度的提升。因为,每个时刻都会融合传感器的信息和之前的里程计信息进行计算。至于初始化,则是如果没有相关的信息,那就不用,虽然效果会差一点。

15-[LVI-SAM]分析总结_第1张图片

15-[LVI-SAM]分析总结_第2张图片

b. visual_feature

​ 这个节点只需要输入原始图像信息和imageProjection发布的基于世界坐标系的点云图。因此,和其他同学没有什么消息上的交互。至于为什么上面的图片中会发现有那么多的消息给这个节点,我也觉得很神奇,因为代码上,只订阅了2个话题。但经过研究发现,这其实是这个节点在get_depth()函数获取深度的时候,构造了一个TransformListener监听器。订阅TF话题,而很多节点又在TF上发布了信息,因此在这个图上面显示有很多TF信息传给了这个节点。

15-[LVI-SAM]分析总结_第3张图片

c. visual_odometry

​ 这个节点的输入除了TF信息之外,还有2个重要的信息。一个是上面提到的visual_feature节点。用来获取带有深度信息的lidar点云图。而且也会接受一个是否重启的信息,用来判断是否需要重启。除此之外,还需要订阅imuPreintegration节点的IMU话题的消息。通过阅读另外一个队友的blog,我了解到,这个节点也做了预积分处理,通过订阅原始IMU数据,用因子图优化,施加两帧之间的imu预积分量,预测每一个时刻的IMU信息。因此,通过这个消息,可以得到任意时刻的IMU的估算,从而配合计算出更加精确的里程计数据。

15-[LVI-SAM]分析总结_第4张图片

6. 收获

​ LVI-SAM的代码分析完,一个最直观的感受,就是明白一个复杂的工程是怎么组织起来的,至少,明白在ROS环境下,是如何组织一个项目。对于ROS来说,项目其实就是一个个节点组织而成。每个节点通过话题和消息进行交互。

​ 在完成一个项目的时候,最重要的其实不是项目的实现,而是项目的设计。在LVI-SAM中,我们可以看到,每个节点的功能十分的清晰,而且节点之间的信息交互已经在论文阶段就定义了。而且,在项目中,重要的并不是代码,而是在代码中的思想,因此,如果想要完成一个高质量的项目,首先,就要做好设计。

​ 除了有这么一个总的认识,在此期间,我还学会了很多额外的知识,特别是运动学方面的知识。从表示物体的位姿,以及不同坐标系之间的TF转换关系,到光流追踪算法等知识,都是在学习LVI-SAM中收获到的。而这,我觉得也是一个学习新知识的一个途径,可以通过想要学习的方向上的一个项目,了解到要学习这个方向需要哪些知识点,从而大致了解要学习这个方向的知识基础。通过学习LVI-SAM,我深刻地认识到,数学等理论知识是非常重要的,代码只是这些知识实现的载体!

​ 除了知识上的收获,还有技能性的收获。学会了如何去查找信息。比如说,要明白一些库函数的功能,可以从一些开源库的官方的Class Reference File去寻找函数的定义和实现,这样有助于理解函数的功能。而如果想要理解一个ROS的项目,则可以从节点的main函数开始分析,然后再从节点的回调函数入手,这样可以把握住节点的主要思想和功能。此外,还有一些C++的编写体会,如模板函数,函数传参,宏等等。

​ 最后,通过本次代码分析,我熟悉了在Linux下的项目构建流程,为之后用Linux开发项目打下了基础。

你可能感兴趣的:(LVI-SAM分析,算法,自动驾驶,人工智能)