精读机器人会议-语义视觉单词（回环检测）

精读机器人会议-语义视觉单词（回环检测）

Bag of Semantic Visual Words （2019IROS）

文章首发于泡泡机器人公众号，这里备份一下。

机器人主要会议(ICRA IROS CVPR ICCV RAL TRO)

主要心得：回环检测的方法可以用于重定位；相比于传统的回环检测方法添加了语义信息（传统方法：机器学习；新的方法：深度学习）；同时提出未来可以研究一种基于特征向量和语义信息的并行检索

摘要

​ 同步定位与即时建图的性能依赖于位置识别，这通常通过基于图像的检索问题来解决的，其中使用了词袋模型。本文提出一种词袋模型的结构化框架（BOVW），能够训练和检索与视觉单词相结合的语义信息。

介绍

​ 一个有效的SLAM算法需要能够鲁棒识别之前观察到的区域来执行回环检测，这使得算法需要正确的数据关联以及获得地图一致性的能力。此外，用于检测回环的方法也可以用于当跟踪丢失代理的重定位能力。近年来，人们提出了许多基于图像匹配的词袋空间数字向量提取方法。尽管现有的位置识别方法已经证明是有效的就计算资源需求以及对于流行的SLAM算法提供了很好的结果。在具有动态（移动对象）或者非结构化环境中容易失效。此外，传统的基于词袋模型的方法缺乏语义信息，限制了过滤无关特征能力（例如，属于植被、行人、移动车辆的特征通常对于定位是不可靠的）。因此，**提出了一种基于语义信息的能够检索和索引相关图像的词袋结构。**相似的工作在参考文献【3】中提出，语义类别被限制在五个，这对特征数量较少的环境造成了限制。此外，与动态对象相关的特性也没有明确说明。我们打算扩大类的数量并且在考虑分配给该特性的类属性的同时实现回环检测。

方法

​ 提出的语义视觉词袋(BoSVW)构造方法由三部分组成：（a）训练（b）检索（c）回环检索。

• 训练部分将提取的图像特征嵌入到语义信息中，如上图所示。删除与动态物体相关联的特征。词频与逆向文件频率用于BoVW表示的计算。

• 检索部分从查询图像中提取特征并且使用余旋距离计算TF-IDF向量检索顶部第K个相关图像。

• 第三部分在检索到的图像中搜索潜在的回环检测候选项。这涉及到根据检索图像和查询图像之间的inliers匹配数量计算检索得分。基于特征类对检索到的图像进行概率排序，同时考虑检索到单个图像的检索得分。

总结

在这项工作中，提出了一个BoSVW框架结构，我们打算执行提出的框架并评估性能与最先进的方法进行比较。此外，许多策略可以研究，例如，基于语义和特征向量的图像并行检索，然后搜索可能的回环检测候选对象。

参考文献:

D. Galvez-Lopez and J. D. Tardos, “Bags of binary words for fast place recognition in image sequences,” IEEE Trans. Robot., vol. 28, no. 5,pp. 1188–1197, Oct. 2012.

A. Mousavian, and J. Košecka, “Semantically aware bag-of-words for localization,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2015