中文论文阅读笔记

中文论文

---

基于语义信息与多视图几何的动态SLAM方法研究 仲星光 哈尔滨工程大学

摘要：

针对移动机器人在动态环境中进行精确定位和地图构建的迫切需求,本文在使用深度神经网络获得语义信息的基础上,对动态场景下的相机定位与建图方法进行了研究。同时针对深度神经网络分割不准确以及传统方法在计算位姿时受运动物体影响较大等问题,重点开展了基于语义信息的特征提取、点线融合的帧间位姿估计、结合多视图几何方法的运动物体检测等研究,并且搭建了基于RGB-D相机的动态SLAM系统。最后通过标准数据集和真实场景数据对算法的有效性进行了对比验证。本文的具体工作内容如下:

首先,针对动态场景下的图像特征提取与匹配问题,本文使用了Mask-RCNN对彩色图像进行语义分割获得掩码图,而后结合深度图像的几何信息对掩码图进行了细化处理。同时,从彩色图像中提取了ORB特征点与LSD特征线段并分别计算了其描述子,进而结合语义信息对提取到的特征进行分类和快速匹配。其次,针对如何检测运动物体以及提高动态场景下位姿估计精度的问题,本文首先基于特征点初步计算出当前帧的位姿,在此基础上,利用多视图几何方法对当前帧所得点云的空间一致性进行检测,同时利用中值光流法对识别出的物体进行跟踪,结合两种方法的输出结果准确地分割出运动物体,并且,从当前帧的数据中去除该物体所占像素,进一步对点线特征的重投影误差进行优化以计算出更精准的位姿。另外,通过在建图过程中将检测出的运动物体像素完全去除,解决了地图的重影问题。

应用场景

存在体积较大的运动物体的动态环境

论文实现的效果

采用由粗到精的位姿估计方法，在高动态环境下保持良好的动态效果

去除了动态环境下点云地图内运动物体的重影

论文创新点

应用语义分割网络Mask-RCNN来检测动态物体，同时根据多视图几何检测动态点。在帧间估计时，先选用背景中的ORB特征点进行跟踪，再对图像中的特征线段进行提取，

• 基于Mask-RCNN的动态目标分割细化方法
• 先用背景ORB特征点进行初步估计位姿，然后以此位姿为基础检测动态物体，剔除运动像素。利用LSD检测线特征，再融合点线特征进行精确的位姿估计。
• 结合多视图几何与语义信息进行检测动态物体。多视图几何部分：通过关键帧点云重投影以及对目标物体的光流跟踪来分割。

论文中的不足之处

没有生成语义地图

实验部分，特征线段进行提取仅对较近的线段提取，可以利用的环境线段没有提取到。

作者提出的改进方向

1. 将地图使用TSDF方法进行表示，使用GPU对地图构建进行加速
2. 开展物体级别的语义SLAM研究，利用静态物体作为路标以增强算法在弱纹理环境中的鲁棒性。

---

基于视觉SLAM的室内语义地图构建 刘凯鉴 浙江大学

摘要

针对室内语义地图的构建，研究了物体级的语义地图构建。基于YOLACT网络对图像进行实例分割，并提出了一种结合深度信息的自适应区域增长算法对实例分割进行优化。实现了单帧图像的语义标注。针对地图的物体实例，采用 YOLACT提取的语义特征和LAB空间的颜色特征对物体实例外观进行特征编码，通过结合外观一致性和空间一致性的方法对地图中的物体进行实例匹配，实现了物体库中的物体构建和物体更新。最后基于八叉树数据结构，构建了包含物体实例信息的语义地图。

对于环境中的动态目标，本文提出一种基于光流和先验知识的动态目标检测算法，采用Flow Net2.0网络对光流场进行预测，结合YOLACT语义识别的结果来融合物体动态属性的先验知识来对动态物体进行判定。本文在ORB­SLAM2的基础上进行了改进，通过动态特征点的剔除，提高了动态环境下定位精度，从而提升了语义地图在动态环境下的构建效果。

应用场景

室内语义物体级地图构建，以及动态环境时构建物体级语义地图

论文实现的效果

室内物体级语义地图构建

论文创新点

通过二维语义标注反推三维物体实例。提出结合深度信息的自适应区域增长算法来解决过分割问题

利用光流场预测结合语义标注的先验信息进行检测动态点

论文中的不足之处

动态点分割的效果不好 构建的八叉树地图不具有实时性

作者提出的改进方向

1. 网络模型优化
2. 实时构建语义地图
3. 对语义信息的进一步利用，提高定位精度