基于光流跟踪和功能匹配（称为LK-ORB-SLAM2）融合的立体视觉气味测量算法

目录

1、如何解决光流跟踪过程中丢失特征点的问题

2、ORB-SLAM2的工作流程：检测功能点、立体声匹配、功能匹配和运动估计

3、LK-ORB-SLAM2的工作流程

4、功能提取算法

5、立体声匹配

 6、光流跟踪

---

1、如何解决光流跟踪过程中丢失特征点的问题

建议采用自适应匹配帧插入方案，以及时停止光流跟踪，并在正确的时间插入匹配帧并检测新功能点，以保持 LK-ORB-SLAM2 运行

2、ORB-SLAM2的工作流程：检测功能点、立体声匹配、功能匹配和运动估计

首先提取特征点。功能检测后是立体声匹配过程。然后，在前一帧中创建的场景点投影到当前帧中，并与当前帧匹配以获得多个功能对应。最后，可以使用通用的 3D-2D 算法计算运动。

3、LK-ORB-SLAM2的工作流程

当 LK-ORB-SLAM2 加载帧时，它将确定帧是否是第一帧。如果是，LK-ORB-SLAM2 将执行初始化：检测帧中的特征点，然后通过立体声匹配获得一些场景点（立体声匹配的方法将在 Sect. 4.2中描述），第一帧将设置为匹配帧。初始化后，使用光流跟踪功能点以获取特征对应。功能点在相机运动期间不断丢失，然后我们建议的匹配帧插入方案将在正确的时间插入匹配帧。（匹配帧插入方案将在第4.4条中描述）。LK-ORB-SLAM2 将检测匹配帧中的功能点，并执行功能匹配以获取功能对应。当获得足够的函数时，可以使用通用的 PnP 算法[3]计算运动（PnP 算法的原则位于参考 [3]的这一节中：3D 到 2-D：来自三维结构和图像特征对应的运动）。

流程图

4、功能提取算法

特征点的性能对视觉气味学有指数级的影响。根据[17]，ORB 比 SIFT 效率高得多， 并加快了强大的功能 （SURF）[27]。ORB 基于加速段测试 （FAST）[28]关键点探测器和二进制强健的独立基本功能 （BRIEF）[29]描述符的功能。

ORB 的缺点是特征点的分布相对集中，这不利于在随后的帧中找到这些点。ORB-SLAM2 将图像分成几个矩形块，并从每个矩形块中单独提取要点来解决这个问题。LK-ORB-SLAM2 使用此方法优化 ORB。

5、立体声匹配

功能检测后，将使用立体声匹配算法计算场景点的深度。图3说明了立体声匹配的过程，对于左图像中的蓝色特征点，在右图像的同一行中创建带形搜索区域，该区域中的点匹配候选者。对于右图像中的两个匹配候选者，分别计算其简要描述符，然后分别比较描述距离（有关特征描述符和距离比较的更多信息，请参阅文献[3]）。距离较小的点是左图中蓝点的匹配点。

 6、光流跟踪

为了解决功能匹配需要太多时间的问题，LK-ORB-SLAM2 使用光流来计算前一帧中的功能点的移动，以便直接在当前帧中查找这些功能点，从而直接获得功能对应。图4显示了光流跟踪的过程，其中发现了两个特征对应。

参考文献：Fast stereo visual odometry based on LK optical flow and ORB-SLAM2