视觉SLAM框架中的协方差矩阵用来做什么

在视觉slam经典算法中，比较重要的三个因素一个是待优化变量，一个是误差项，另外一个就是经常提到的协方差矩阵。一直以来对协方差矩阵理解不是很清楚，也查询了很多资料。其中一篇解释的比较清楚和接地气：

https://blog.csdn.net/xiao_lxl/article/details/72730000

那么就是说：

标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个女孩子的长相是否和学习成绩存在一些联系啊。协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，也就是说一个女孩子越漂亮学习越好。结果为负值就说明负相关的，女孩子越漂亮就学习越差。如果为0，也是就是统计上说的“相互独立”，也就是女孩子漂不漂亮和成绩没有关系。

 

协方差矩阵的表示：

协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。理解协方差矩阵的关键就在于牢记它度计算的是不同维度之间的协方差，而不是不同样本之间，

假设有n个变量X1、X2、···Xn，两两之间的协方差，就可以组成协方差矩阵，我们定义：

那么上述n个变量的协方差矩阵就是：

，其中，

 

如果有：

那么Y的协方差矩阵为：

接下来就是我思考的问题：

在视觉slam中协方差矩阵的意义又是什么呢？尤其最近在推导香港科技大学沈老师的VINS-MONO框架公式的时候，第一部分为IMU预计分，那么预积分之后就要求解各观测量的协方差矩阵。

那么为什么要求解协方差矩阵，作用是什么呢？沈老师在公开课中说：“ IMU和视觉信息融合也可以粗暴的叫做加权平均，那么加权就是每个测量值对应的协方差矩阵”。

通过查询资料以及泡泡机器人创始人 刘富强 强哥的解答，总结一下对这个问题的认识。

权重矩阵又成为信息矩阵，它是协方差矩阵的逆，因为每个残差都看作高斯分布，而每个高斯分布都可以归一化为标准的高斯分布N（0，1），这种归一化操作是减去均值求平方然后除以方差。残差预期均值为0，所以不用减只需要除以方差，扩展到多维的话就变成了信息矩阵加权形式。

就是说计算出协方差矩阵，然后除以协方差矩阵。IMU和视觉融合的过程其实就是对IMU的预计分残差以及视觉信息的重投影误差进行量纲的过程，这样两个归一化之后才可以直接线性相加。

另外贴几个强哥推荐的帖子

信息矩阵在图优化中的作用：

https://blog.csdn.net/fly1ng_duck/article/details/101236559 

极大似然估计中，信息矩阵、Hessian 矩阵和协方差矩阵的关系：

https://www.cnblogs.com/xiaochen-qiu/p/11170487.html

以及知乎上的问题：OrbSLAM的Optimizer函数用到的信息矩阵如何理解？

https://www.zhihu.com/question/58762862

多元高斯分布，这个帖子对协方差矩阵解释的比较形象

https://www.cnblogs.com/bingjianing/p/9117330.html

还有百度词条中对高斯分布的解释：

https://baike.baidu.com/item/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83/829892?fromtitle=%E9%AB%98%E6%96%AF%E5%88%86%E5%B8%83&fromid=10145793&fr=aladdin

其中对概率密度函数  位置参数以及尺度参数做出了解释 ，这样对协方差矩阵是尺度因子的解释理解的更透彻一些。