文献阅读：LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometryvia Smoothing and Mapping

LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometryvia Smoothing and Mapping

该两个子系统以紧耦合的方式设计。对于VIS初始化，LIS提供初始参数（系统状态x和IMU零偏b且假设b不变）。VIS进行视觉特征跟踪时，引入激光雷达帧可提供特征深度。LIS在进行扫描匹配时的初始猜测是来自优化视觉重投影和IMU测量误差，此作为因子图的一个约束。IMU对点云去畸变后，LIS提取边和面特征并与滑动窗口中维护的特征地图进行匹配。LIS得到的系统估计再发给VIS以方便VIS初始化。闭环矫正是VIS识别候选匹配，LIS再优化，其中视觉里程计、激光雷达里程计、IMU预积分和闭环约束在因子图中进行优化。最后利用优化后的IMU零偏传播测量值来进行位置估计。

主要贡献：

• 1、A tightly-coupled LVIO framework built atop a factor graph, which achieves both multi-sensor fusion and global optimization aided by place recognition.
• 2、Our framework bypasses failed sub-systems via failure detection, making it robust to sensor degradation.
• 3、Our framework is extensively validated with data gathered across varied scales, platforms, and environments.

视觉惯性系统：

可参考这篇：

VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator

VINS效果已经很好了，这里主要借鉴了数学方面。本文在VIS初始化加入由LIS得到的状态和IMU偏置；深度特征估计加入了激光雷达帧；若机器人运动幅度大等情况VIS报错（阈值判断）并重新初始化；闭环检测得到的关键帧时间戳发给LIS进一步验证。

视觉惯性系统：

可参考这篇：

LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping

也是本文作者写的，引入激光雷达关键帧的滑动窗口来限制复杂，再用因子图优化。本文联合优化四种因子：IMU预积分约束、视觉里程计约束、雷达里程计约束和闭环约束。LIS初始化前假设机器人速度为0开始，LIS初始化后， 估计IMU零偏、机器人位姿和速度给VIS初始化以得到初始猜测。故障检测参考《On Degeneracy of Optimization-based State Estimation Problems》。发生故障时不会将激光雷达里程计约束添加到因子图中。

评价：

视觉和雷达俩系统看起来互补短板，阈值判断故障来切换。机器人可能会出现大幅度动作，车子可能这种情况比较少？可有更好的办法处理传感器退化情况（也可能不用处理？）。另非退化情况可有提升空间？