第三章——IMU与视觉融合

前言

日常吐槽，第三章很多内容没点透，因为会在之后讲解，但是没说明就很搞人心态，让阅读者理不通顺各内容的逻辑结构

内容

1 各节之间的逻辑

我觉得开始介绍之前，首先应该把第三章讲的这些内容各自间的关系说明，本章有两个重点，一是对IMU进行预积分以及预积分的误差递推公式；二是IMU与视觉各自的雅可比矩阵求解（注意是各自的）

有一个PPT和讲解中都忽略了的事——为什么要求预积分误差递推公式的F和G矩阵？

PPT中只说了一个作用，那就是在求IMU残差雅可比的时候，方便通过F的递推近似各个预积分因子对i时刻的bias的雅可比。但好像这里只用到了F的第四列和第五列，而且G也没用到

其实，F和G还有另外一个大的作用，那就是辅助计算PPT中介绍了但是没说明使用方式的预积分误差协方差矩阵，而这个矩阵在之后对IMU和视觉雅可比进行融合时的尺度一致化有着重要的作用

这样，我们就可以说本章主要讲了两个东西，一个是IMU和视觉误差各自雅可比如何计算，二是用来“加权”IMU和视觉残差的权重矩阵如何计算

2 详解IMU预积分误差的协方差矩阵计算

这里我们略过了以下内容：

1. 为什么要引入IMU预积分
2. 非线性IMU预积分误差的线性化

并直接应用以下公式，认为这是公共知识：

值得肯定的是，PPT中关于F的形式推导是很细致入微的，所以我也把F和G的形式作为公共知识摆在这：

其中的系数为：

根据已推导的，已知从相机点位i到j时刻中，每隔时段t采样的k个IMU点位数据，如何递推出预积分误差的雅可比形式和协方差形式
$$J_{k+1}=F{J}_k$$
$$P_{k+1}=F{P}_k{F}^T+G{Q}_k{G}^T$$

这样我们就可以从i时刻开始，经过k个点迭代获得i到j的预积分雅可比和协方差矩阵，其中预积分雅可比可以用于预积分残差计算时对两个bias项求导的近似；而协方差矩阵用于“加权”

3 IMU残差和视觉残差各自雅可比的计算

这部分PPT中存在的介绍不清的地方我已经在前面进行了说明，然后就是运用右扰动分别求各项雅可比并放置在对应位置，更细的求导说明可以去阅读PPT