-语义SLAM是自主驾驶和智能代理中的一个重要领域,它能使机器人实现高层次的导航任务,获得简单的认知或推理能力,实现基于语言的人机交互。本文将ORB-SLAM[1]、[2]的三维点云与PSPNet-101[3]卷积神经网络模型的语义分割信息相结合,建立了一个大规模环境下的语义三维地图生成系统。此外,还建立了一个新的KITTI[4]序列数据集,该数据集包含了序列相关街道上Google地图上的GPS信息和地标标签。此外,我们还找到了一种将现实世界中的地标与点云地图相关联的方法,并建立了一个基于语义地图的拓扑地图。索引项语义SLAM,视觉SLAM,大规模SLAM,语义分割,地标级语义映射。
在语义上,我们将建筑地标与语义点云。我们将从Google地图获得的地标与我们的城市区域导航语义3D地图相关联。它可以在不需要GPS信息的情况下实现基于地标的再定位。
•我们开发了一个系统,通过将视觉SLAM地图与大规模环境的语义分割信息融合,构建一个语义3D地图。
•我们为KITTI[4]序列开发了一个新的数据集,包含序列相关街道上谷歌地图上的GPS信息和地标标签。
•我们开发了一种将现实世界的地标与点云地图相关联的方法,并构建了一个基于语义地图的拓扑地图。
首先,采用基于CNN的分割算法对图像进行分割。像素级语义映射结果和当前帧将被发送到SLAM系统进行环境重建。利用ORB-SLAM重建几何环境,利用当前帧中的角点球特征生成点云。在SLAM系统中,利用贝叶斯更新规则将像素级的语义信息与地图点相关联,更新一帧中每个观测点的概率分布。然后地标将被投影到SLAM地图中,并与SLAM系统中保存的最近的关键帧相关联。无需GPS信息,地图可以重新利用,进行地标级定位。我们还提供了为每个地标建立拓扑可达关系的方法,这将更方便机器人实现地标级的自导航。