SLAM和三维重建中的SFM区别

参考1:Qiang

回答中很多人提SLAM比三维重建多了一个L(location),我想也许可以稍微深入一点。

我们看一下定义:

  • (1)SLAM:同步定位与地图构建;定谁的位?相机的位,相机在机器人身上,就是定机器人的位。建谁的地图?相机经过地方的地图。二者结合,才能确定机器人在某个地图中的具体位置,和这个场景(地图)下的连续运动轨迹。
  • (2)三维重建(SFM):从运动恢复结构。我觉得更像是构建目标的三维模型。然后,我们看一下流行算法的效果:

SLAM:蓝色表示运动位置。

SLAM和三维重建中的SFM区别_第1张图片

图1:LSD-SLAM-运动轨迹和稀疏的场景地图,黄色表示位置之间的约束,这是优化问题,不展开。

SLAM和三维重建中的SFM区别_第2张图片

图2:ORBSLAM2-运动轨迹和稠密(Dense)地图

SFM:

SLAM和三维重建中的SFM区别_第3张图片

图3:KinectFusion-构建目标三维地图

SLAM和三维重建中的SFM区别_第4张图片

图4:ElasticFusion-构建场景地图

我们可以看出,SFM中构建的三维模型是很漂亮的,目标是人,就构建人,目标是是物,就构建人,目标是地图,就构建地图的三维模型,所以我更愿意定义SFM:构建目标的三维模型

SLAM(侧重定位)和SFM(侧重建图)联系很大的,大佬们为什么要把这两个东西分开?既估计出相机的运动轨迹,又把经过所有的地方(整个场景包括人,桌子,椅子)都构建出来,这不是更perfect的方案吗?

因为.....做不到,计算量达不到。

在SLAM中,现有方法可以做到小场景下的“相对”稠密化建图(图2),而在大场景下(图1)是难以实现的。当你的目标是导航,就需要实时性的定位,大场景稠密地图的读取和储存,现有硬件条件是不可能达到的,但是,越稠密的地图才能更好的帮助机器人进行自主定位。所以,现在发展二十年之久的SLAM的遗留问题就有,稀疏地图稠密化(我构建了稀疏地图,但是为了自主导航,这个地图不够用),或者稠密地图的稀疏表达(典型工作octotree)。

SLAM中的M什么时候能变成,真正能用做语义分割和识别的dense mapping,机器人的自主性会得到极大的进步。

参考2:akkaze-郑安坤

稍微修改一下这个回答,准确点说slam应该去和sfm比较,不能直接和三维重建比较。

slam最重要的作用是定位,相机要知道自己的姿态,因为需要的姿态通常都是3d的,所以在恢复3d姿态的时候,使用pnp方法能得到不少3d点,这些3d点也能成为新的地图,但是多半是稀疏的,当然这是非直接法,直接法会计算图像梯度变换比较大的地方的深度,所以最终能得到半稀疏的地图。slam属于稀疏重建的范畴,它也没有刻意要去重建某个目标,并且要求运行速度很快,通常是在线的,否则在某些场景里面就要出事故,slam要求速度大于精度,所以slam只会在关键帧间做BA,非关键帧都会使用基于filter的方法。

然后是sfm,structure from motion,它和slam的功能其实是最像的,它的目的也是为了求解相机姿态,同样也能得到3d的稀疏点,它和slam最大的不同在于它要求精度更高,能做BA的地方通常都会做BA。

三维重建是密集重建,它和前面两个算法最大的区别在于它需要恢复深度图出来,至少是关键帧的深度图出来。恢复深度图的通常是立体匹配,如果是rgbd的话能直接从sensor得到。

立体匹配也有两种主流方法。我个人认为可以分为sgm一类,patchmatch一类。个人觉得最主要的区别在于patchmatch能利用前面slam或者sfm解算出来那些稀疏的3d点,然后在全图像平面传播。sgm只能从头开始做匹配。

当然恢复出来深度图以后还有各种深度图融合算法。因为对三维模型的表示也有好几种方式,基于三角网的,基于voxel的,基于tsdf的。每一种的融合方法都不一样。这是一个大的课题。总的来说,到这里,三维重建和slam已经完全不一样了。

参考3:育心

针对这个问题,专门请教了视觉SLAM和三维重建方面的大佬,整理如下:

区别

  • (1)SLAM要求实时,数据是线性有序的,无法一次获得所有图像,部分SLAM算法会丢失过去的部分信息;基于图像的SfM不要求实时,数据是无序的,可以一次输入所有图像,利用所有信息。
  • (2)SLAM是个动态问题,会涉及到滤波,运动学相关的知识,而SfM主要涉及的还是图像处理的知识。

联系

  • (1)基本理论是一致的,都是多视角几何;
  • (2)传统方法都需要做特征值提取与匹配;
  • (3)都需要优化投影误差;
  • (4)回环矫正和SfM的全局注册方法是同一件事情。

你可能感兴趣的:(三维重建,SLAM,计算机视觉算法)