【论文笔记】--"A comparison of loop closing techniques in monocular SLAM"

Abstract

用于单目SLAM的loop closure detection的方法主要分三类： i) map–to–map, ii) image–to–image and iii) image–to–map，论文分别选择三个类别的方法，并进行实验比较。再进一步描述 image–to–map的方法，并改进算法。

I.Introduction

loop closure detection 对SLAM十分重要，根据loop closure detection时data association 的方式不同，分为
i) map–to–map, Correspondences are sought between features in two submaps taking into account both their appearance and their relative positions. 同时考虑外观和相对位置。
ii) image–to–image， Correspondences are sought between the latest image from the camera and the previously seen images.将对最新获得的图像，与之前的相比。
iii) image–to–map，Correspondences are sought between the latest frame from the camera and the features in the map. 将最新获得帧与map中的特征相比，这里的map应该是路标点集合吧。

II.The monocular SLAM system

采用某中单目SLAM来分别测试三种loop closure方法，该单目SLAM（where the pose of a handheld camera is tracked, while simultaneously building a map of point features in 3D using the EKF.）建立路标地图，采用扩展卡尔曼滤波作为优化方法，并且带有重定位模块（with a relocalisation module [13] to recover from situations where the system becomes lost.）

采用the Hierarchical SLAM submapping technique来降低线性误差并实时建立更大的地图。

当回环被检测出来，利用非线性优化来调整各submaps之间的转换关系，从而更新全局地图。

III. Detecting loop closure

为了检测出回环，SLAM系统必须识别出先前建过图的区域。Essentially, at this point two regions in the map are found to be the same region in the world even though their position is incompatible given the uncertainty estimate in the map – the classic loop closure problem. The system must then be able to calculate the transformation needed to align these two regions to ‘close the loop’.正如上图b，c所示，给定地图中的不确定性估计，即使地图上的两个区域的位置不兼容，也发现地图上的两个区域是世界上相同的区域——这就是经典的闭环问题。接着SLAM系统要计算出两者之间的转换（transformation），用于调整这两个地图的区域以完成闭环。

现在考虑三类不同的回环检测方法：

A. Map–to–Map Matching

Clemente et al. [2] presented a method to close loops in monocular SLAM maps based on finding correspondences between common features in different submaps. 并采用GCBB算法。具体地，The system uses both similarity in visual appearance (unary constraints) and relative distances between features (binary constraints) to find the largest compatible set of common features between two submaps. 同时考虑外观和特征点相对距离的相似性，从而在两个子图间找到最大的普通特征的兼容集合，一旦找到某个一致性的集合，便可以很快确定两个子图之间的转换。

B. Image–to–Image Matching

基于识别出先前看过的地点来检测出回环，具体检测每张图像中特征是否存在，这些特征来源于一个离线训练的字典。这样可以用一个向量来表征一个图像，并计算图片之间的相似性。该方法不考虑metric，而是直接比较两张图像。但是，it can be used with a metric map if the camera pose relative to such a map can be found for each image as well as the relative pose between two images for the loop closure.（即可以结合metric信息来促进matching，参考《计算机视觉中的多视图几何》)

C. Image–to–Map Matching

该方法基于重定位技术。先说重定位技术，当跟踪失败时，通过找出图像与地图特征的对应关系，从而确定相机相对于地图（由点特征构成的地图）的位姿，继而从对应关系中采用RANSAC and the three–point–pose algorithm 来计算出该位姿。

ps 这里不是很清楚相机相对于地图的位姿

为了能够检测出回环，系统根据特征的共视性（feature covisibilities）来尝试重定位，每当一次重定位成功时，它会给出当前跟踪位姿和重定位得出位姿的对应关系。于是，这对应关系给出合并两个区域所需的旋转量与平移量。但是，单单一个位姿是不足够确定 相对比例差（scale difference）的，所在相机在两个区域都被跟踪一段时间（期间，冻结一个地图，以免信息被计算两次），该共同轨迹可用于找到两个区域之间的转换，包括相对比例差（图2）。

左边地图为当前跟踪，系统此时运用重定位技术，重定位到了右边地图的某位置。于是，1）首先对齐它们的共同轨迹，2）接着施加约束（即相对应的相机位姿的集合是等价的），从而合并两个子图。

综上，理一遍基于 image-to-map 的 loop closure ：
一方面 1）找出输入图像与地图特征的对应关系；2）确定并计算相机相对于地图的位姿；
另一方面 3）根据特征共视性，将上述重定位得出的位姿与当前跟踪位姿对应起来，求出合并两区域所需的旋转量与平移量。合并优化地图。
ps：1）2）为重定位，在1）中，应该会针对输入图像对地图进行搜索吧？找出与输入图像相类似的特征。

IV. RESULTS

V. DISCUSSION

VI. EXTENSION TO THE IMAGE–TO–MAP METHOD

VII. CONCLUSION