【七】GMS算法

题目：《GMS: Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence》
作者：边佳旺

• 参考：

1. 【极市】边佳旺-稳定的图像特征匹配以及快速的GMS方案 边老师的独家讲解，挺不错的。

2. 边佳旺博客 边老师的博客，对一些疑问进行了回答

3. GMS特征点匹配汇报-2017CVPR 一位作者对GMS算法做的汇报PPT，和边老师讲的差不多，也可以直接看PPT。

这篇文章针对特征匹配问题，提出了一种基于网格的、运动统计特性的快速、超鲁棒的特征匹配方法。以下是我对GMS做的一些笔记，有不足之处可以在评论区指出。

1.文章的目的

为了得到一种速度快、质量好的特征匹配方法。

2.文章的思想

从上图可以看出，如果有一个正确的match，那么旁边肯定有几个正确的支撑匹配，具有运动一致性，如果有一个错误的匹配（假设错误是随机发生的），那么旁边的支撑匹配几乎很少，因为很难找到出现同样错的点（作者在视频中也展示了相关的实验结果），那么如何通过这种观察的信息来判断点匹配的是否正确。

从图中可以看出，在最难的时候，正确的匹配都有8个点支持它，而错误的匹配一直很难找到支持点。 

3.主要的方法

 其中，核心部分为运动统计，而网络结构和运动核都是用来进行加速的，实现前面的运动统计。

4.三个假设

• 假设一：运动平滑性使得正确的匹配周围的小领域具有相似的运动（运动一致性约束）
• 假设二：如果匹配错误，它的最近邻匹配可以位于M个可能位置中的任意一个（没有先验信息）。
• 假设三：如果一个区域上的运动是平滑的，则正确的匹配允许周围多个小区域具有相似的运动。

5.统计模型

在左右两幅图片中分别标有a和b的区域，根据假设一我们知道，正确的匹配在它的周围还有正确的匹配支持它，而对于错误的匹配周围几乎没有点支持它。这种支持在文中量化为Si：

如xi的Si=2，表示周围有两个正确的匹配支持它，xj的Sj=0，表示周围没有点支持它。

6.分析模型

首先，定义相关的事件如下：

fa的事件空间如下： 

一般来说，如果一个特征点的匹配是错误的，在没有先验信息的情况下，可能落在图像中的任何一个位置，这也就产生了假设二，那么对于一个点匹配错了，但匹配点还是落在了区域b的概率为：

其中，m是b区域中特征点的个数，M是整张image特征点的个数，β是一个附加因子，主要针对重复结构。 

这里有几个重要的概率：

由于每个特征点匹配是独立的，那么根据假设1和以上两个概率可以将其近似为一对二项分布：

而这一对二项分布截然不同，这也意味着Si的概率密度函数可能是一个双峰的，S的分数可以用来判断特征匹配的正确性。

7. 多区域泛化

• 目的：为了使得差异更大化。

从五（统计模型）中，我们可以看出对于一个小区域的运动是平滑的，例如狗狗的鼻子，而对于一个更大的区域，例如狗狗的脸，同样是平滑的（假设三）。

所以对于一个3*3的领域：

每个格子的对应关系如下： （好处是增大了分布之间的差异）

 这样Si就变成了：

现在的分布：

 以前的分布：

均值和标准差：

分割能力：表示正确匹配和错误匹配之间的差异，当图像中的匹配点越多，此时正确与错误匹配的可区分度就越强。

8.网格结构

• 作用：加速

按照之前的说法是给每个匹配画两个圈，对于这样的匹配必须把所有的点都遍历一遍，才能清楚有多少个点在圈内，复杂度为O(N)。如果引入了网格，就不需要对每个匹配进行画圈，在进行匹配之前就把图像分为若干网格，那么这些匹配点就会落在网格中，只需数每个网格中有多少个点，这样复杂度变成了O（1）。

基本运动核：

为了保证旋转和尺度不变性：

 

9.算法流程

 

10.性能比较

• 局限性

1. 首先，算法假设图像运动是分段平滑的时，在违反假设的区域，例如图像边界，性能可能退化；

2. 其次，在视觉上相似但空间位置不同的图像区域，算法性能受到限制。此问题通常发生在具有大量重复纹理的场景中；

3. 最后，由于算法使用了网格化对图像进行处理，算法判定正确的匹配网格中仍然存在不准确匹配。

11.实验效果