slam之视觉+IMU

融合IMU是为了克服纯视觉SLAM的缺点,或者是说为了互补IMU的优势和纯视觉SLAM的优势。下面看看IMU能为纯视觉SLAM解决什么问题:

1)运动过快的场景下,相机会出现图像模糊,或者两帧图像之间的重叠区域太少甚至没有,造成无法基于两帧图像中相同点和不同点测算运动;这种情况下,IMU可以补充发挥作用,继续提供可靠的(R,t)估算。

2)纯视觉难以处理动态场景,环境变化时,会误认为自己在运动,而IMU则能够感受到自己运动,避免运动误判。

3)视觉在纹理丰富的场景中可以正常工作,然而遇到玻璃、白墙等特征稀少的场景时就无法正常工作。

4)另外视觉还受光线条件影响和限制。

视觉+IMU的算法框架可以参考VINS和OKVIS

 

VIO松耦合中视觉运动估计和惯导运动估计系统是两个独立的模块,将每个模块的输出结果进行融合,而紧耦合则是使用两个传感器的原始数据共同估计一组变量,传感器噪声也是相互影响的,紧耦合算法上比较复杂,但充分利用了传感器数据,可以实现更好的效果,是目前研究的重点。

 

 

单目+IMU实现难点

1.IMU与相机内外参的校准比较困难,包括IMU的bias,相机焦距、主点和畸变参数。相机和IMU的转换关系,时间戳同步。

标定不准就严重影响系统稳定性,当前公开的标定算法都有缺陷,需要做一些改进才能达到消费者级别。不过我司解决了。

不同手机或者同款手机不同批次都会有一些区别,所以最好是提供在线标定的算法,这个就更难了。不过我司也解决了。

2.如同各位大神说的尺度,图像运动模糊,FOV太小,遮挡和运动物体干扰。解决方法之一就是尽量提高帧率,例如我们能跑60fps,就有很强鲁棒性。另外算法层面的改进也可以有很多骚操作,暂时不谈了。

3.camera2的实现也是关键,当前很多Android机型拿不到曝光时间,以及真实的时间戳,AE/AF等控制也都不起作用,导致只能在部分高端机型上才能有较好效果。就连ARCore也只能支持100多种机型而已。

 

 

作者:Kite

链接:https://www.zhihu.com/question/50385799/answer/796757584

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

SLAM 学习与开发经验分享 只更新到2017年

https://github.com/GeekLiB/Lee-SLAM-source

RGBD-SLAM总结 2017-10-25 很不错,可以多看

https://blog.csdn.net/qq_27550989/article/details/78341904

实现难点前面几位答主都罗列得差不多了,这里分享其中一些难点的解决思路。 1. 计算量大:我们从优化算法(采用FAST+SSD提取特征点),使用simd指令集,通过内存换时间这三方面来提升。 2. 单目初始化:我们结合了IMU来解决,首先找到一个平面,然后再从这个平面上来构建地图,这样就不需要平移相机了。 3. 纯旋转:单目通过算法可以解决一部分,可参考《Robust Keyframe-based Monocular SLAM for Augmented Reality 》 ,里面写得很详细。 4. 遮挡和动态物体,特征缺失、动态光源和人物的干扰:首先把屏幕分成区域,使跟踪的特征点均匀分布在这些区域里,再在算法里面进行检测,那么一直在运动的特征点就会被排除掉。 5. 回环检测:类似ptam处理,为每一个关键帧创建了一个Small Blurry Image,在回环检测线程里,随时比对两个SBI是否一致,来判断是否回环。 6. 尺度问题:我们采用的是相对尺度,单目+IMU可以解决这个问题,ARKit的绝对尺度做得很不错,目前我们还没有想出什么好办法

 

 

作者:太虚AR首席打杂官

链接:https://www.zhihu.com/question/50385799/answer/194883295

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

【泡泡机器人原创专栏】SLAM/VIO学习总结 2018-03-29非常到位

http://www.jintiankansha.me/t/BMxXKlFhMn

  • 一、前言
  • 二、为什么研究SLAM
  • 2.1从机器人定位导航/状态估计说起
  • 2.2 SLAM在机器人领域的应用
  • 2.3 SLAM在AR/VR领域的应用
  • 2.4 VIO的优势
  • 三、学习资源
  • 3.1 书籍
  • 3.3 相机-IMU标定
  • 3.3 数据集
  • 3.4 工具软件
  • 四、 求职

VINS-Mono代码分析总结

https://www.zybuluo.com/Xiaobuyi/note/866099

 

 

你可能感兴趣的:(slam之视觉+IMU)