[论文笔记] semi-dense 3d semantic mapping from monocular slam

semi-dense 3d semantic mapping from monocular slam

这居然是CVPR best paper吗,我似乎读了一篇假论文_(:з)∠)_……
大概是自己太菜了没读懂QWQ,改天再读一遍

1. introduction

这篇论文的思想比较易懂,使用单目LSD-SLAM+deeplab,生成半稠密的语义地图。文章解释了,对于RGBD或双目相机,存在尺度限制问题,他们只能在有限的深度范围内工作,而对于室内室外的衔接能力弱。因此选用了单目SLAM。此外,2D语义分割是在关键帧上做的,也并非真正的实时。

文章还阐述了使用半监督SLAM的优势:对于ORB SLAM等基于特征点的稀疏地图,不适合做semantic mapping。对于elastic fusion等稠密地图,适用于RGBD或双目,而不适合单目。因此折中选择了半稠密的LSD SLAM。

主要贡献有:

  • 提出2d-3d的数据关联方法
  • 提出3D地图点深度的正则化方法

2. Approach

系统由三个并行线程:

  • 三维重建线程:用于选择关键帧、基于位姿图进行三维地图重建。
  • 图像分割线程:对于关键帧,进行pixel level的语义分割。同时基于连续帧,进行局部最优深度估计,来优化关键帧的深度信息。
  • 全局优化线程:基于每隔地图点的邻域点,对3D语义地图点进行优化,得到全局一致的三维地图。

全文没啥作者自己的想法…

语义分割:直接用的deeplabv2

SLAM:LSD SLAM

数据关联:和semantic fusion一样的贝叶斯方法

全局优化:和semantic fusion一样的CRF。

你可能感兴趣的:(SLAM,论文笔记,语义SLAM,deeplab,LSD,SLAM)