写在前面最近看了ESKF之后，收获蛮大的，特别是对于四元数的残差的推导，感觉给出了一个很标准的推导方式，因此就趁热打铁，把VINS中的预积分部分残差推导了一下，也算是对上了VINS中imu_factor.h中的代码部分。残差设状态变量为x=[Pi，Pj，Vi，Vj，Qi，Qj，Bai，Baj，Bgi，Bgj]x=[Pi，Pj，Vi，Vj，Qi，Qj，Bai，Baj，Bgi，Bgj]x=[Pi，Pj

点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货VINS-mono论文解读（IMU预积分+Marg边缘化）前面，我们已经对接下来的VIO系列主要内容有所介绍（感兴趣的可以关注：视觉与惯性传感器如何融合

4.重定位4.1LoopDetectionVins-Mono利用词袋DBoW2做KeyframeDatabase的构建和查询。在建立闭环检测的数据库时，关键帧的Features包括两部分：VIO部分的200个强角点和500个Fast角点，然后描述子使用BRIEF(因为旋转可观，匹配过程中对旋转有一定的适应性，所以不用使用ORB)。DescribefeaturesbyBRIEFFeaturestha

文章目录常用操作Clonetherepositoryandcatkin_makeRunVINS-MonowithEuRoCbag.与GroundTruth对比保存posegraph加载地图总览系统框架论文框架代码结构代码文件目录VINS-Monorostopiclist数据结构函数sensor_msgs::PointCloud()midPointIntegration()ClassClassFea

Abstract由摄像机和低成本惯性测量单元(IMU)组成的单目视觉惯性系统(VINS)构成了用于度量六自由度状态估计的最小传感器套件。然而，由于缺乏直接距离测量，在IMU处理、估计器初始化、外部标定和非线性优化等方面提出了重大挑战。在本文中，我们提出了一种鲁棒的、通用的单目视觉惯性状态估计器VINSMono.我们的方法从一个稳健的程序开始，用于估计器初始化和故障恢复。采用一种基于紧耦合、非线性优

IV：测量预处理该部分描述惯性以及单目视觉测量预处理步骤。对于视觉测量，我们追踪连续帧间的特征点以及在最近的帧中检测新的特征点。对于IMU测量，对两连续帧进行预计分。注意到我们使用的廉价的IMU，其测量值会受到偏置和噪声的双重影响。因此我们在IMU预计分的过程中特别考虑偏置。A.视觉处理前端对每一帧新的图像，KLT稀疏光流算法[29]对现有的特征点进行跟踪.同时，检测新的角点特征[30]以维持每帧

文章目录1.前言2.外参标定(利用旋转约束估计外参数旋转qcb)q^{b}_{c})qcb)3.视觉IMU联合初始化3.1陀螺仪偏置的估计(利用旋转约束估计bwb_{w}bw)3.2速度、重力和尺度初始化(利用预积分约束估计vbkbkv^{b_{k}}_{b_{k}}vbkbk、gc0g^{c_{0}}gc0、sss)3.3优化重力向量gc0g^{c_{0}}gc03.4对齐导航世界坐标系1.前言

文章目录1.前言2.非线性最小二乘2.1Guass-Newton和Levenberg-Marquardt2.2鲁棒核函数下状态量增量方程的构建3.局部BundleAdjustment代价函数的构建4.IMU测量残差(增量误差)及其对状态量雅克比矩阵、协方差递推方程的推导4.1IMU测量残差(增量误差)4.2IMU优化变量4.3IMU增量残差对状态量的雅克比矩阵4.4协方差递推方程5.视觉测量残差（

文章目录1.前言2.IMU模型3.基于世界坐标系下的IMU运动模型3.1连续形式下的IMU运动模型3.2离散形式下的IMU运动模型3.2.1欧拉法离散形式3.2.2中值法离散形式4.IMU预积分(基于第K帧IMUbody坐标系下的运动模型)4.1连续形式下的IMU运动模型4.2离散形式下的IMU运动模型4.2.1两帧之间PVQ增量的欧拉法离散形式4.2.2两帧之间PVQ增量的中值法离散形式5.非线

VI.紧耦合单目VIO估计器初始化后，我们采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒状态估计。图3显示了滑动窗口的图示。A.公式化滑动窗口中的完整状态向量定义为：其中是捕获图像时的IMU状态。它包含了IMU在世界帧中的位置、速度和方向，以及在IMU本体坐标帧中的加速度计偏置和陀螺仪偏置，n是关键帧的总数，m是滑动窗口中的特征总数，是第一次观测到的特征的逆深度。我们使用视觉惯性集束调整公式（

VIII.全局位姿图优化重新定位后，局部滑动窗口移动并与过去的姿态对齐。利用重定位结果，提出此位姿图优化步骤以确保将过去姿势的集合登记为全局一致配置。由于我们的视觉惯性设置使滚动和俯仰角完全可观测，累积漂移只发生在四个自由度(x，y，z和偏航角)。为此，我们忽略了对无漂移的滚转和俯仰状态估计，只进行了四自由度位姿图的优化。A.位姿图中添加关键帧当关键帧从滑动窗口中边缘化时，它将被添加到位姿图中。这

之前对视觉SLAM主要的开源框架，ORB-SLAM2、SVO等进行了介绍，然后疫情期间对VINS-Mono进行了详细的源码解析，接下来考虑到工作原因需要用到激光雷达、GNSS、IMU等多传感器融合，所以接下来会对最经典的激光

VINS-Fusion基本介绍VINS-Fusion是继VINS-Mono和VINS-Mobile（单目视觉惯导SLAM方案）后，香港科技大学沈劭劼老师开源的双目视觉惯导SLAM方案，VINS-Fusion

按照vins-mono的处理方式改一下就好。写完才发现git上已经有人写了，这里放个链接吧。

联想拯救者Y7000P：WIN10双系统的Ubuntu重装及VINS-Mono的配置前言碎碎念双系统中的Ubuntu重装Ubuntu卸载Ubuntu重装Ubuntu配置基础问题配置VINS-Mono环境配置配置

VINS中的滑窗优化策略，将滑出窗外的帧与滑窗内的帧的约束使用边缘化的形式保存为先验误差进行后续非线性优化，以保留约束信息。本文对具体的方案进行记录。紧耦合VIO处理的两种误差分别为IMU误差与图像误差，采用LM、GN、Dogleg等方式迭代求解待优化参数增量，以求得最大似然估计，最小化非线性化误差。迭代优化的核心即求解增量方程：Hδx=bH\deltax=bHδx=b其中H=JTJ,b=JTe,

先记住这张图，特别好，这张图中将所有的参数块变量和约束因子根据待marg的变量分为不同的组，在边缘化过程中，我们只需要关注处理下图中的xm,xb,zc的信息。classResidualBlockInfostructResidualBlockInfo{ResidualBlockInfo(ceres::CostFunction*_cost_function,ceres::LossFunction*_l

VINS-Mono和VINS-Mobile是香港科技大学沈劭劼团队开源的单目视觉惯导SLAM方案。是基于优化和滑动窗口的VIO，使用IMU预积分构建紧耦合框架。

本文主要介绍VINS的闭环检测重定位与位姿图优化部分，作为系列文章的最后一节。回环检测的关键就是如何有效检测出相机曾经经过同一个地方，这样可以避免较大的累积误差，使得当前帧和之前的某一帧迅速建立约束，形成新的较小的累积误差。由于回环检测提供了当前数据与所有历史数据的关联，在跟踪算法丢失后，还可以利用重定位。论文中主要分为两部分：回环检测与重定位、4-DOF的位姿图优化。第一部分主要是为了通过回环检

VINS基本介绍VINS-Mono和VINS-Mobile是香港科技大学沈劭劼老师开源的单目视觉惯导SLAM方案。2017年发表于《IEEETransactionsonRobotics》。

紧耦合优化优化主流程边缘化边缘化最老帧边缘化次新帧补充preMarginalize()marginalize()ThreadsConstructA()滑动窗口优化主流程视觉惯性紧耦合优化的主要实现在voidEstimator::optimization()中，其中主要采用ceres完成优化，ceres的使用总结见slam中ceres的常见用法总结VinsMono的视觉惯性紧耦合优化执行的是Moti

前言2019年1月11日，港科大VINS-Mono的团队发布了VINS的扩展版本——VINS-Fusion。

vins是今年刚开源的vio系统，跑了数据集效果挺好的，所以看了paper和代码。视频地址：https://www.youtube.com/watch?v=I4txdvGhT6Igithub：https://github.com/HKUST-Aerial-Robotics/VINS-Mono.Git之前的博客对数据预处理、VIO初始化和里程计部分都做了介绍，这次博客主要介绍VINS系统中的最后一个

VINS-Mono源码解析（五）后端:紧耦合优化1.优化原理a)优化变量χ第k帧状态:xk相机外参:xbc=[x0,x1,...,xn,xbc,λ0,λ1,...,λm]=[pwbk,vwbk,qwbk

文章目录一、ORB-SLAM21.追踪2.地图构建3.闭环检测二、VINS-mono一、ORB-SLAM2ORB-SLAM算法的一大特点是在所有步骤统一使用图像的ORB特征。

##marg基础摘自贺一家的博客在我们这个工科领域，它来源于概率论中的边际分布（marginaldistribution）。如从联合分布p(x,y)去掉y得到p(x)，也就是说从一系列随机变量的分布中获得这些变量子集的概率分布。回忆了这个概率论中的概念以后，让我们转到SLAM的BundleAdjustment上，随着时间的推移，路标特征点(landmark)和相机的位姿pose越来越多，BA的计算

Abstract由摄像机和低成本惯性测量单元(IMU)组成的单目视觉惯性系统(VINS)构成了用于度量六自由度状态估计的最小传感器套件。然而，由于缺乏直接距离测量，在IMU处理、估计器初始化、外部标定和非线性优化等方面提出了重大挑战。在本文中，我们提出了一种鲁棒的、通用的单目视觉惯性状态估计器VINSMono.我们的方法从一个稳健的程序开始，用于估计器初始化和故障恢复。采用一种基于紧耦合、非线性优

VINS-Mono：一种鲁棒且通用的单目视觉惯性状态估计器摘要关键词1.引言2.相关工作3.概述4.测量预处理A.视觉处理前端B.IMU预积分5.估计器初始化A.滑动窗口(SlidingWindow)纯视觉

自己实现代码与opencv的接口函数对比在VINS-Mono上效果对比在两张图片上效果对比PyrLKTracking()源码总结最近自己在研究VINS-Mono源码的特征提取与追踪部分的原理以及代码实现

VINS-Mono源码分析2—vins_estimator1ros::init(argc,argv,"vins_estimator");ros::NodeHandlen("~");ros::console

VINS-Mono源码分析6—pose_graph1ros::init(argc,argv,"pose_graph");ros::NodeHandlen("~");pose_graph包的入口，ROS程序的初始处理

VINS-Mono源码分析5—vins_estimator4【边缘化】1.边缘化理论2.边缘化代码分析1.边缘化理论在阅读本篇博客前，建议读友先去看看崔神的文章《VINS论文推导及代码解析》的第6节和高神的

直接使用小觅相机运行MYNT-EYE-VINS-Sample软件配置：ubuntu16.04，ROSKinetic。硬件配置：小觅S1030相机。1，下载MYNT-EYE-SDK-2及安装mynt_eye_ros_wrapper(https://github.com/slightech/MYNT-EYE-SDK-2)2，安装MYNT-EYE-VINS-Samplemkdir-p~/catkin_w

开源SLAM方案评价与比较：ORB-SLAM2,VIORB,VINS-MONO一、简介二、EVO安装及测试三、运行数据集四、APE,RPE计算并绘图五、evo_res进行结果比较一、简介网上开源框架较多

TX2运行VINS-MONO简介1.ceres-solver安装2.运行小觅摄像头简介之前一篇博客：“ubuntu16.04运行VINS-MONO实验总结”已经在笔记本中成功运行了VINS-MONO。

VINS-Mono关键知识点总结——前端详解VINS-Mono关键知识点总结——前端详解1.VINS-Mono的前端流程概述2.setMask()函数的作用3.rejectWithF()函数的作用4.addPoints

VINS-Mono关键知识点总结——预积分和后端优化IMU部分VINS-Mono关键知识点总结——预积分和后端优化IMU部分1.预积分的理论推导2.预积分的代码分析3.后端优化IMU部分（1）残差定义（

1、首先参照港科大github上的源码REAMDE进行环境配置https://github.com/HKUST-Aerial-Robotics/VINS-Mono2、下载并安装Eigen3.3.3，虽然对于Eigen3.3.3只是用到头文件，但是还是必须执行安装，仅拷贝文件到指定目录下，并且在编译时指定路径找到，虽然能找到，但是没啥效果（否则还是无法显示轨迹）mkdirbuildcdbuildcm

一、feature_tracker1.首先初始化feature_tracker节点，函数readParameters(n)加载config参数配置文件。trackerData[i].readIntrinsicParameter(CAM_NAMES[i])给相机模型加载内参，这里是单目i=1；如果是鱼眼相机则加载mask。然后开始订阅相机的topic，调用回调函数读取图片[1.1]，然后初始化3个需

VINS代码地址：https://github.com/HKUST-Aerial-Robotics/VINS-Monohttps://github.com/slightech/MYNT-EYE-OKVIS-SampleInstallMYNTEYEOKVISgitclone-bmynteyehttps://github.com/slightech/MYNT-EYE-OKVIS-Sample.gitc

估计器初始化初始化的原因是单目惯性紧耦合系统是一个非线性程度很高的系统，首先单目是无法获得空间中的绝对尺度，而IMU又必然存在偏置，在后面进行求解的时候还需要用到重力加速度（包括大小和方向），对于速度比较敏感的条件下，比如说无人机，又要精确的速度信息，因此，如何有效的在紧耦合系统处理之前计算出这些量，对整个紧耦合系统的鲁棒性有着重大的意义初始化要做的事其实说起来很简单，就是计算出绝对尺度s、陀螺仪

1cannotbeusedwhenmakingasharedobject;recompilewith-fPIC[30%]Builttargetvins_estimator/usr/bin/ld:/usr/local/lib/libgflags.a(gflags.cc.o):relocationR_X86_64_32against`.rodata.str1.1'cannotbeusedwhenmak

刚买了一台小觅深度版相机，拿来试试看效果，决定跑一圈VINS-mono，下面是我运行的过程，记录一下。1.获取传感器的参数编译官方的SDK。

接上一篇博客——视觉IMU对齐的内容和代码的解析，我们已经通过VisualIMUAlignment函数得到了初始值：陀螺仪的bias、尺度因子s、有模长限制的重力向量、各个帧的速度，同时借助重力向量实现了相机坐标系与世界坐标系的对齐。总结一下就是：相机-IMU对齐指的是将视觉SFM结构和IMU的预积分结果进行对齐，主要分为1）陀螺仪偏差的标定；2）速度、重力向量和尺度初始化；3）对重力进行修正三部

接上一篇——外参标定的代码和内容的讲解，计算出旋转外参数qbcq_{bc}qbc(对应代码中的ric)后，开始其他参数的初始化；视觉初始化的过程是至关重要的，如果在刚开始不能给出很好的位姿态估计，那么也就不能对IMU的参数进行精确的标定。当然，当相机在弱纹理或者高动态场景下工作时，预期的SLAM算法能够根据IMU的数据补偿视觉不确定性带来的精度损失。我们利用SfM确定各个pose和特征点的相对于c

接上一篇——视觉初始化的代码和内容的讲解,我们对所有的图像帧(滑动窗口内与外all)提供初始R、T估计，然后进行pnp优化，同时我们也得到了它们对应的IMU坐标系到lll系的旋转平移。现在进行视觉惯性联合初始化。【为什么要用视觉惯性联合初始化？怎样联合？】对于单目系统：视觉系统只能获得二维信息，损失了一维信息(深度)——>利用三角化重新获得损失的深度信息；相机之间是非米制单位表示(s尺度因子)，I

本节是VIO的重点，主要是VINS的鲁棒初始化：外参估计，重力估计对齐目录1.大体流程VINS外参标定2.若旋转外参数qbcq_{bc}qbc未知,则先估计旋转外参数2.1获取最新两帧之间匹配的特征点对2.2计算相机-IMU之间的旋转3.计算出旋转外参数qbcq_{bc}qbc(对应代码中的ric)后，开始其他参数的初始化1.大体流程初始化主要分成2部分，第一部分是纯视觉SfM优化滑窗内的位姿，然

ceres版本导致的问题：开始用的ceres2.0的版本，在catkin_make的时候会报关于ceres/interger/...的错误，见下图。然后换成ceres1.4的版本，顺利解决这个问题；关于gflags的问题，报错如下图所示：错误：/usr/bin/ld:/usr/local/lib/libgflags.a(gflags.cc.o):relocationR_X86_64_32again

一、畸变镜头模型在正式使用VINS-Mono之前需要把自己的摄像头进行标定，测出内参和畸变参数，opencv官方的标定demo中sample文件夹里的图片是用古老的镜头拍摄的，畸变程度高，需要用到高次项

一、重定位帧的处理在process()函数中，在处理完IMU之后，接着就是对重定位帧的设置，代码片段如下：//[4]设置重定位帧setReloFrame()sensor_msgs::PointCloudConstPtrrelo_msg=NULL;//去看传感器数据的definitionwhile(!relo_buf.empty()){relo_msg=relo_buf.front();//返回队首