15-[LVI-SAM]分析总结

2021SC@SDUSC

LVI-SAM分析总结

​ 这是我的LVI-SAM代码分析的最后一篇。在这一篇，我会做一个总结，对我前面的Blog做一个综述，分享在分析的过程中，我的收获。

1. 综述

​ 在LVI-SAM的代码分析中，我负责分析lidar模块的imageProjection节点和视觉模块的visual_feature节点。后来，我又帮助小组的另外一个同学，分析visual_odometry节点。

​ 而对于我们整个小组来说，我们已经把lidar模块的所有部分完成。但可惜的是，视觉模块并没有分析所有完所有的节点，因此还没有办法把这2个模块串起来做个总结。

​ 下面，我将分别总结一下对每个节点的分析，然后，再把我的节点和其他队友分析的部分串联起来总结。最后，我会再讲述一下我的收获。

2. imageProjection

​ 该节点主要用于订阅IMU、里程计、原始lidar三个话题的信息，然后进行信息整合，筛选出有效的lidar点云，并转化成世界坐标系中，并把这个转化好的基于世界坐标系的lidar点云图发布出去。而在这里，需要分析代码，需要学会一点额外的运动学方面的知识。比如：什么是TF变换，位姿是怎么表示的，什么是仿射变换等等。而只有先弄明白这些，才能理解代码的思想。

3. visual_feature

​ 节点订阅imageProjection节点的发布的基于世界坐标系下的lidar点云图话题，获得世界坐标系下的lidar点云图，从中找到特征点，通过光流追踪算法，一直跟踪这些特征点。并结合获取到的lidar点云图，获得深度信息，重新封装并发布。同时，这里还会发布一个是否重启视觉部分的信号。

​ 而这里，虽然是视觉部分，但也用到了lidar模块的信息，需要从lidar点云图话题，去获取图像某个特征点的深度信息。而这个获取深度信息，也需要用到很多运动学的知识。比如说，怎么归一化2d特征到单位球体上。因为这个比较简单，我就没有单独去介绍，因为很多计算，都需要用到归一化。后面，还提到了k-d树，而这个，我也刚好接触过，也实现过，因此，分析起来比较舒服。

​ 但后面涉及到了图形学的东西——光流追踪算法。而理解这个算法，又需要知道什么是光流，总之这样一层层的深入，便慢慢的理解了这个节点的内容。

4. visual_odometry

​ 这个节点是我比较陌生的。因为我分析这个节点，也只分析了2周的时间，对于其中细节的实现，没有那么深究。这个节点需要订阅前面需要的visual_feature发布的带有深度信息的lidar点云图，然后还会需要订阅重启信息以及原始IMU信息，以及经过IMU预积分得到的里程计信息。最后会利用视觉特征点的信息初始化，再利用IMU，得到更精确的里程计信息。

​ 这个节点一共有3个回调函数，一个主线程。3个回调函数存储接受到的数据，主线程负责核心的计算处理，以及信息的发布。而这个主线程就用到了我们前面分析的visual_feature节点的输出——带有深度信息lidar点云图。然后，用这些信息，可以得到更精确的里程计信息。而如何计算出来的，我在之前的blog中也有分析，但很可惜，我没办法去进一步探究其中的原理，比如所IMU预积分，什么是IMU的参数PQV。

5. 节点交互

​ 下面是我的代码分析部分，和队友的节点代码分析的结合。

a. imageProjection

​ 在上面我们已经提到，这个节点订阅IMU信息，里程计信息，和原始lidar三个话题的信息。而其中，IMU信息和原始lidar信息都是直接从传感器获得的原始数据。而里程计信息则是通过visual_odometry节点获得。而visual_odometry又订阅了visual_feature的话题，而visual_feature又订阅了imageProjection的话题，而这就形成了一个环(见下图)。

​ 而这其实只是假象。因为，imageProjection并不是直接使用获得的里程计信息，而是根据时间，计算出需要的里程计信息，而计算所需要的，可能是上一个时间帧的里程计信息，因此，这个环有助于精度的提升。因为，每个时刻都会融合传感器的信息和之前的里程计信息进行计算。至于初始化，则是如果没有相关的信息，那就不用，虽然效果会差一点。

b. visual_feature

​ 这个节点只需要输入原始图像信息和imageProjection发布的基于世界坐标系的点云图。因此，和其他同学没有什么消息上的交互。至于为什么上面的图片中会发现有那么多的消息给这个节点，我也觉得很神奇，因为代码上，只订阅了2个话题。但经过研究发现，这其实是这个节点在get_depth()函数获取深度的时候，构造了一个TransformListener监听器。订阅TF话题，而很多节点又在TF上发布了信息，因此在这个图上面显示有很多TF信息传给了这个节点。

c. visual_odometry

​ 这个节点的输入除了TF信息之外，还有2个重要的信息。一个是上面提到的visual_feature节点。用来获取带有深度信息的lidar点云图。而且也会接受一个是否重启的信息，用来判断是否需要重启。除此之外，还需要订阅imuPreintegration节点的IMU话题的消息。通过阅读另外一个队友的blog，我了解到，这个节点也做了预积分处理，通过订阅原始IMU数据，用因子图优化，施加两帧之间的imu预积分量，预测每一个时刻的IMU信息。因此，通过这个消息，可以得到任意时刻的IMU的估算，从而配合计算出更加精确的里程计数据。

6. 收获

​ LVI-SAM的代码分析完，一个最直观的感受，就是明白一个复杂的工程是怎么组织起来的，至少，明白在ROS环境下，是如何组织一个项目。对于ROS来说，项目其实就是一个个节点组织而成。每个节点通过话题和消息进行交互。

​ 在完成一个项目的时候，最重要的其实不是项目的实现，而是项目的设计。在LVI-SAM中，我们可以看到，每个节点的功能十分的清晰，而且节点之间的信息交互已经在论文阶段就定义了。而且，在项目中，重要的并不是代码，而是在代码中的思想，因此，如果想要完成一个高质量的项目，首先，就要做好设计。

​ 除了有这么一个总的认识，在此期间，我还学会了很多额外的知识，特别是运动学方面的知识。从表示物体的位姿，以及不同坐标系之间的TF转换关系，到光流追踪算法等知识，都是在学习LVI-SAM中收获到的。而这，我觉得也是一个学习新知识的一个途径，可以通过想要学习的方向上的一个项目，了解到要学习这个方向需要哪些知识点，从而大致了解要学习这个方向的知识基础。通过学习LVI-SAM，我深刻地认识到，数学等理论知识是非常重要的，代码只是这些知识实现的载体！

​ 除了知识上的收获，还有技能性的收获。学会了如何去查找信息。比如说，要明白一些库函数的功能，可以从一些开源库的官方的Class Reference File去寻找函数的定义和实现，这样有助于理解函数的功能。而如果想要理解一个ROS的项目，则可以从节点的main函数开始分析，然后再从节点的回调函数入手，这样可以把握住节点的主要思想和功能。此外，还有一些C++的编写体会，如模板函数，函数传参，宏等等。

​ 最后，通过本次代码分析，我熟悉了在Linux下的项目构建流程，为之后用Linux开发项目打下了基础。