论文翻译：DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

引言

将SLAM与深度学习结合起来的工作越来越多。这些工作从不同的角度解决目前传统SLAM方法存在的问题。在我们跟进或者开展类似的工作的时候，需要想清楚，传统的SLAM方法目前遇到的问题到底是什么。对这些问题进行明确地分析，从理论框架、算法技术、工程实现等方面挖掘可以改进的点，对于更好地指导深度学习工具在SLAM中的应用具有极高的价值。

摘要

DynaSLAM基于ORB-SLAM2框架，增加了对动态物体的检测和背景修复的工作。该系统对动态场景具有鲁棒性，适用于单目，双目以及RGBD相机。该系统能够通过多视角几何，或者深度学习，或者二者融合，检测动态物体。场景的静态地图有助于对观测帧的背景进行修复，以消除动态物体遮挡的影响。
实验结果表明，该系统在高度动态的场景下，能够取得较baseline高的精度。其同时对地图中的静态部分进行了估计，对于长时建图很重要。

Introductiom

文章中指出了特征点法和直接法是目前主流的SLAM方案，但是都没能很好地处理动态场景，如行人，自行车，或者汽车。在视觉SLAM中，处理动态物体面临以下挑战：Detecting and dealing with dynamic objects in visual SLAM reveals several challenges for both mapping and tracking
(1) 如何检测图像中的动态物体：以防止对属于动态物体的像素进行跟踪。防止所构建的地图中包含了动态物体。
(2) 如何对地图中收到动态物体暂时遮挡的部分进行补充。

本文的框架如下：首先，在ORB-SLAM2的前端增加一个front-end stage。在单目或者双目条件下，我们使用一个CNN去对图像帧做先验的像素级分割，接下来SLAM系统将不在动态物体上做特征提取。在RGBD情况下，本文提出融合多视角几何模型和基于深度学习的动态物体检测方法，然后对动态物体进行去除，以对被遮挡的背景进行校正。

Related work

在直接法中，处理动态物体的策略主要是：

1. 基于光流信息；
2. 将连续的两帧投影到相同的平面上，发现不一致的地方
3. 对连续两帧之间的灰度变化进行统计，然后对像素进行分类。

目前所有的方法都难以estimates lifelong models when an a prior dynamic object remains static, e.g. parked car

System Description

A. Segmentation of Potentially Dynamic Content using a CNN
使用Mask-RCNN获取像素级的语义分割区域以及对应的语义类别。
B. Low-Cost Tracking
当可能的动态区域被分割后，基于静态部分对相机位姿进行跟踪。跟踪是通过简单的最小化冲投影偏差实现的。
C. Segmentation of Dynamic Content using Mask R-CNN and Multi-view Geometry
通过Mask-RCNN可以去除语义上的动态物体，但是有些可能的动态物体仍然不能去除。在本文中，对于每个当前帧，我们选择与其重叠度最高的先前的关键帧，这种选择是通过考虑帧间位姿实现的。
然后对于先前关键帧每个关键点，将其投影到当前帧，获取其投影后的深度信息。
如果$\alpha$大于30°，该点可能被遮挡了，将会被忽视。作者注意到，在TUM数据集上，视差角度大于30°的静态物体，由于视角的差异被认为是动态物体。然后对于特征点冲投影前后的深度差异，如果深度差大于阈值，就认为该特征点属于动态物体。该阈值通过实验验证，选择为0.4m。
对动态物体的边界上的点，根据深度图像做了过滤。
然后，我们就得到了哪些特征属于动态物体，哪些不是。为了分类出所有属于动态物体的像素，我们再深度图上，在动态像素附近进行生长。对于几何方法，难以对动态区域进行初始化，对于学习方法，难以对临时静态的物体进行识别。

Tracking and Mapping

在前面分类为静态物体的图像区域上进行特征点的提取，用于机器人位姿的跟踪。

Background Inpainting

由于已知关键帧的位姿，将前面关键帧静态区域投影到当前帧的动态区域，以修复当前帧被遮挡的背景。