R2LIVE和R2LIVE论文分析

1. R2LIVE

1.1 概述

紧耦合的雷达视觉惯导系统，用于实时的状态估计与建图。融合了当下激光惯导和视觉惯导中一些效果较好的技术，并加入了高频率的里程计滤波以及低频的因子图优化。因子图优化了局部地图关键帧位姿以及视觉路标点的位置。error-state iterated Kalman filter对雷达、惯导以及视觉信息进行融合并满足了实时性。

测试数据表明该系统可以在一些具有挑战性的场景中运行，例如剧烈运动、传感器失效、包含动态物体的管道中以及小FOV的情况。该系统相比于其他系统更加精确，并且可用于大范围、室内-室外的稠密三维地图重建。

2. R3LIVE

提出了一种实时定位、建图、上色的框架。有LIO和VIO组成。系统可以实现实时的稠密的三维有色点云重建。

提出了一种新颖的基于RGB的有色点云地图的VIO系统。VIO系统通过对观测地图中的RGB和当前图像中的RGB进行最小化光度误差，队当前状态进行估计。该方法不需要进行特征提取，节省了特征检测以及提取的时间，并在纹理退化区域表现出更强的鲁棒性。

R3LIVE可以进行稠密、实时的、三维、RGB的稠密点云建图，可满足室内、室外运行。

3. 系统结构总览

                                                           

                                                  

	R2LIVE	R3LIVE
lidar	提取面(planar)特征点 消除运动畸变 计算点面残差	(LIO)通过雷达扫描输入构建全局地图，并通过最小化点-面残差估计系统状态
Camera	提取FAST角点 在地图中跟踪对应角点 计算重投影误差	(VIO)构建地图的纹理。通过输入的图片，将RGB赋给每一个点，帧间光流跟踪地图点，通过最小化帧间PNP重投影误差以及帧-地图间的光度误差，对系统状态进行更新。
Filter	对雷达点面残差、特征点重投影误差通过error-state iterated Kalman filter与IMU测量值融合 融合获得的位姿在当前雷达扫描帧中向点云中加入新的点并通过三角化得到新的视觉landmarks	对雷达点面残差通过error-state iterated Kalman filter对系统状态进行预测 VIO中，将一部分跟踪点从全局地图中投影到当前image里，使用ESIKF对这一系列点进行最小化光度误差，从而预测系统状态。
factor graph	使用滑动窗口法优化视觉地图点	NONE

4. 加入全局地图纹理

在帧-地图更新之后，我们获得了当前图像的准确位姿，此时对地图点进行颜色添加处理。

a. 提取出激活体素中所有的点，

b.如果当前点处在当前图像内，我们获得图像中对应点的颜色和协方差（通过对该点周围像素的RBG值进行线性插值）。

c.根据贝叶斯模型，更新新的观测点颜色，具体更新如图所示：

         

                        ​​​​​​​        

                                       

                ​​​​​​​        ​​​​​​​        ​​​​​​​