这个系统是基于香港科技大学飞行机器人组的开源框架VINS-Mono开发的,原开源框架是针对单目SLAM。本双目SLAM系统是在原单目开源框架基础上的二次深度开发,外部接口与原框架一致。这个项目是我的研究课题项目,非商业用途,感谢HKUST的沈老师课题组提供的开源框架。该项目的github地址请点击这里。
【SLAM】VINS-MONO解析——综述
【SLAM】VINS-MONO解析——feature_tracker
【SLAM】VINS-MONO解析——IMU预积分
【SLAM】VINS-MONO解析——vins_estimator
【SLAM】VINS-MONO解析——初始化(理论部分)
【SLAM】VINS-MONO解析——初始化(代码部分)
【SLAM】VINS-MONO解析——后端优化(理论部分)
【SLAM】VINS-MONO解析——后端优化(代码部分)
【SLAM】VINS-MONO解析——sliding window
【SLAM】VINS-MONO解析——回环检测
【SLAM】VINS-Fusion解析——流程
【SLAM】VINS-MONO解析——对vins-mono的修改使流程逻辑更清晰
【SLAM】VINS-MONO解析——基于vins-mono的slam系统开发
Ubuntu 16.04
ROS Kinetic
Ceres Solver
OpenCV 3.3.1
Eigen 3.3.3
2.在您的ROS上构造VINS-Dual
cd ~/catkin_ws/src
git clone https://github.com/iwander-all/VINS-Dual-VINS-Mono-VIO-.git
cd ../
catkin_make
source ~/catkin_ws/devel/setup.bash
请在EuRoC MAV Dataset下载您需要测试的数据集。
打开1个控制台,输入:
roscore
进入devel目录,分别打开2个控制台,输入:
source setup.bash
再分别输入:
roslaunch vins_estimator euroc.launch
roslaunch vins_estimator vins_rviz.launch
如果不使用回环检测,请输入:
roslaunch vins_estimator euroc_no_posegraph.launch
再打开1个控制台,请输入:
rosbag play YOUR_PATH_TO_DATASET/MH_01_easy.bag
运行效果:video。
VINS_dual包含两个ROS结点,分别是特征提取结点和vio结点;
featureTracker node:
main线程:订阅双目视觉帧,放入各自的buf中;
featureTracker线程:获取2个buf中的视觉帧,对齐时间戳,分别进行光流跟踪,并发布同一时刻上双目追踪到的全部特征点的像素坐标。
vio node:
main线程:订阅IMU,特征点frame信息,分别放入各自的buf中;
vio线程:获取特征点和IMU信息并对齐;IMU预积分;从图像帧中获取信息并给feature类补充新的特征点;确定滑窗策略;初始化;后端优化;
初始化过程定义为class Initial,负责系统的初始化;
非线性优化定义为class Backend,负责滑动窗口和非线性优化。
其中,非线性优化所维护的H矩阵包括:
(1)先验误差;
(2)相邻两帧的IMU误差;
(3)具有共视点的两帧之间的重投影误差
(重投影误差提供了三种残差模型:纯左目的重投影误差;纯右目的重投影误差和融合双目的重投影误差,该项目可以通过更改yaml文件中的flag确定重投影误差模式)。
T.Qin, P.L.Li, S.J.Shen, VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator.