论文阅读笔记《Robust image matching via local graph structure consensus》

核心思想

  本文提出一种基于局部图结构一致性的图像特征点匹配方法（LGSC）。为实现两幅图像特征点之间的准确匹配，本文将全局的匹配问题转化为每个特征点邻域范围内的局部拓扑结构一致性的比较问题。换言之，就是通过比较以每个特征点为中心的局部区域之间的相似性，来判断该特征点是否正确匹配。将相似程度高的特征点保留下来，将相似程度低的点筛除掉，得到最终的匹配结果。

实现过程

    首先，利用SIFT等特征提取算法得到两幅图像的特征点（关键点）和特征描述向量，并通过暴力匹配的方式得到初始的匹配结果$T=\{(y_i,z_i){\}}_{i=1}^N$， $y_i$和$z_i$分别表示成对匹配点的坐标。初始匹配结果$T$中肯定包含许多错误的匹配点，则图像匹配的目标就是寻找到最优的内点集合$I^{\ast }$

其中目标函数为

$x\in \{0,1{\}}^N$表示该对匹配点之间是否正确匹配，$x_i=1$表示第$i$组匹配点是正确匹配，即为内点。放射矩阵$W$则描述了点和点以及边和边之间的相似程度。对角线上的元素$W_{ii}$表示结点$v_i$和对应的匹配点$v_i^{\prime }$之间的相似程度，而非对角线元素$W_{ij}$则表示边$e_{ij}$和对应的匹配边$e_{ij}^{\prime }$之间的相似程度，$e_{ij}$表示节点$v_i$和$v_j$之间的边，$e_{ij}^{\prime }$表示节点$v_i^{\prime }$和$v_j^{\prime }$之间的边。第二项是为了避免出现类似$x$全部为1的平凡解。由于$|I|=x^{T}x$，则上式可转化为

由于$\lambda N$为常数，因此可以忽略。如前文所述，作者将全局最优的匹配问题，分解为每个特征点之间的匹配问题，则上述目标可进一步转化为

    为了判断当前的匹配点是否是正确匹配，作者提出利用局部图结构的一致性来进行比较。作者发现对于正确匹配的点，其局部范围的图（拓扑）结构的一致性通常比较高，而错误匹配点则不然。基于这一观察，作者先为每个匹配点都构建了其对应的局部图结构。本文采用K-NN方法选择与当前特征点欧氏距离最近的K的特征点作为其邻域，则目标函数进一步约简为

局部指示向量$x_i^K\in \{0,1{\}}^{K+1}$，第一项为1，表示节点$v_i$本身肯定位于局部的图结构中，其他的$K$项分别表示，$v_i$的第$j$个相邻点$v_{i_j}$对应的匹配点$v_{i_j}^{\prime }$是否位于$v_i$的匹配点$v_i^{\prime }$的邻域之中。数学描述如下

    构建了每个匹配点对应的局部图结构之后$x^K$，接下来就是如何计算两个结构之间的相似性$w^K$，其包含节点之间的相似性和边与边之间的相似性，即

   作者提出使用排序转移（ranking shift）来计算节点相似性得分$s(v_i,v_i^{\prime })$，${\varphi }_{v_{i}k}$表示节点$v_i$的第$k$个相邻点$v_j$的排序转移值，该相邻点对应的匹配点$v_j^{\prime }$在节点$v_i$的匹配点$v_i^{\prime }$的邻域中的距离顺序为$r_{v_i^{\prime }k}$，则排序转移值${\varphi }_{v_{i}k}$为

   如下图所示，左图中第$k$个($k=4$)相邻点，对应的匹配点在$v_i^{\prime }$的邻域中距离排序$r_{v_i^{\prime }k}=3$，则该点对应的排序转移值${\varphi }_{v_{i}k}=0$

   最终的节点相似性得分$s(v_i,v_i^{\prime })$计算方法为

   至于边相似性得分$s(e_{i{i}_j},e_{i{i}_j}^{\prime })$，作者利用边的长度之间差异来描述。

$d(e_{i{i}_j})$表示节点$v_i$和相邻点$v_{i_j}$之间的欧氏距离。为了适应多尺度条件下的特征点匹配，作者通过设置多个$K$值，构建了一组多尺度邻域，$K=\{K_m{\}}_{m=1}^M$，目标函数改为

   至此，我们已经得到了目标函数中的$x_i^{K_m}$和$w_i^{K_m}$，接下来就是要寻找目标函数的最优解了。由上式可得

为了让匹配得分$\tilde{S}$取最大值，当$s_i-\lambda >=0$时，$x_i$应取1；当$s_i-\lambda <0$时，$x_i$应取0，则目标函数的最优解可以通过比较$s_i$和预先设定的阈值$\lambda$来求得

则最优的内点集合$I^{\ast }$即为$x_i=1$的点构成的集合

   为了提高匹配的效果， 作者还采取了迭代匹配策略，即把第一次筛选得到的最优内点集合作为初始匹配点集，再次进行一轮筛选。通常两轮筛选即可得到不错的结果，迭代次数过多会导致匹配点数量过少。匹配效果如下

创新点

• 将全局的图像匹配问题转化为局部图结构的匹配问题，简化了计算复杂的同时，保证了匹配的准确性
• 采用排序转移来描述节点之间的相似度，相比于其他的局部描述子更加的鲁棒

算法评价

  本文是最新的基于传统方法的图像匹配算法，融合了图匹配的思想，在许多数据集上都超过了基于深度学习的方法。本文的实现方法非常简单，但效果却非常显著。算法没有开源，我根据自己的理解复现了本文的算法，并公开在我的github上，感兴趣的朋友可以下载测试一下。