论文阅读笔记《Robust weighted graph transformation matching for rigid and nonrigid image registration》

核心思想

  该文提出一种加权图变换匹配方法（weighted graph transformation matching，WGTM）用于刚体或非刚体图像的配准问题。该方法是在GTM（A robust Graph Transformation Matching for non-rigid registration）的基础上改进优化得到的，因此在介绍WGTM之前，我们先简要介绍一下GTM算法。

1. 给定两个点集$P=\{p_i\},P^{\prime }=\{p_i^{\prime }\}$，均包含$N$对预匹配点（其中既有匹配点也有不匹配的干扰点）。

2. 为每个点集都构建一个KNN图$G_P=(V_P,E_P)$，点集中的每个点$p_i$都对应图中的一个节点$v_i$，则$V_P=\{v_1,...v_N\}$。

3. 如果点$p_j$是$p_i$的$K$个最近邻之一，且二者之间的距离$\Vert p_i-p_j\Vert \le \eta$，则节点$v_i$和$v_j$之间有无向边连接，否则没有边连接。阈值$\eta$计算方式如下
   

4. 经过上述处理可得邻接矩阵$A_P\in {\mathbb{R}}^{N\times N}$，如果节点$v_i$和$v_j$之间有无向边连接，则$A_P(i,j)=1$，否则为0。按照的同样的方法可得$A_{P^{\prime }}$。

5. 计算残差邻接矩阵$R=|A_P-A_{P^{\prime }}|$，$R$表示了两幅图之间每个节点与其他节点连接情况的差别，差别越大，则表示两个节点不匹配的概率越高。因此，每次迭代将差异程度最大的点$j^{out}$剔除,
   

6. 重新构建KNN图，迭代上述过程，直到$R=0$，即两幅图的每个节点与其他节点的连接情况都相同。

  GTM 算法有两个约束条件：1.由于$G_P$和$G_{P^{\prime }}$是无向图，因此$A_P$和$A_{P^{\prime }}$是对称矩阵；2. 对于邻接点的数量少于$K$的匹配点都不考虑。该算法其实是基于两个假设得到的：1.如果所有的点都正确匹配了，那么$G_P$和$G_{P^{\prime }}$应该是同构的；2. 两幅图像之间的变换时比较平滑的。但在某些情况下上述假设是不成立的，比如有可能两个点是误匹配点，但他们的邻接点是完全相同的；其次当两幅图像之间变换比较大时，即使是正确匹配点，其邻域内的点也可能存在一定差别。因此上述GTM算法不能处理许多复杂的匹配情况，针对上述算法存在的问题，本文提出一种加权的图变换匹配算法WGTM。

实现过程

  首先也要构建两个KNN图，但与GTM算法不同的是，WGTM中的图是有向图。也就是说如果点$p_j$是$p_i$的$K$个最近邻之一，且二者之间的距离$\Vert p_i-p_j\Vert \le \eta$，则存在由$p_j$指向$p_i$的边。只有当点$p_i$也是$p_j$的$K$个最近邻之一时，才会存在一个双向连接的边。并且邻接点数量少于$K$的匹配点不会被忽略。
  然后寻找$G_P$中所有至多只有一个边连接的点，将其和对应的匹配点从$G_P$和$G_{P’}$移除，直到所有节点都至少带有两个边。接着通过计算角距（angular distance）来表示边的权重$W$，节点$p_i$到$p_m$的边权重$W(i,m)$计算方法如下

其中

$p_i$和$p_m$表示节点的二维坐标向量，$k_{min}$表示每对匹配点之间的最优旋转角度，计算方法如下


$v_x,v_y$分别表示$x,y$坐标。
  对于每个节点$v_i$，如果其匹配点连接边的数量和其本身连接边的数量之间的比值小于0.5，则该点所连接边的权重全部替换为$\pi$，如下式

  计算每个节点连接边的平均权重值$w(i)$，并将平均权重值最大的节点和对应的匹配点从点集中剔除。

  找到权重矩阵$W$中的最大值$w_{max}$，并令${\mu }_{new}$为所有$w(i)$的平均值

设初始的${\mu }_{old}=2\pi$，当满足$w_{max}<\pi$且$|{\mu }_{new}-{\mu }_{old}|<ϵ$时，匹配终止。否则令${\mu }_{new}={\mu }_{old}$，并重复上述过程。参数$ϵ=0.001$，当移除的点是误匹配点时，${\mu }_{new}$变化较大，因此不满足$|{\mu }_{new}-{\mu }_{old}|<ϵ$。当所有的误匹配点都被剔除，算法就会把匹配点中最差的点看作误匹配点，但剔除该点只会使${\mu }_{new}$发生微弱变化，使得$|{\mu }_{new}-{\mu }_{old}|<ϵ$条件成立，匹配也就终止了。
  完整算法流程如下图所示，其中step2有一点小错误，判断条件应为$\{v_i|{\sum }_{\forall j,(i,j)\in E_P}{A}_P(i,j)\le 1\}\ne \varnothing$

创新点

1. 在GTM的基础上改进了该算法，提出一种新的加权图变换匹配方法
2. 引入角距作为一种几何约束，具备旋转、尺度不变性，能够更好的适应图像之间的变换

算法评价

  GTM、WGTM，还包括我们之间曾讲解和复现过的LGSC算法可以看作一类算法。这类算法介于点匹配和图匹配之间，普通的点匹配仅考虑点和点之间的对应关系，可以称之为一种一次匹配问题，图匹配则是考虑了点和点之间与边和边之间的对应关系，是一种二次匹配问题。而GTM这类算法，他虽然也引入了图的结构，考虑了节点之间的连接，但只是将局部的几何特征信息或拓扑信息聚合到每个节点上，本质上还是进行点和点之间的匹配。这样做的好处是相对于点匹配问题他增加了局部几何拓扑信息约束提高了匹配的鲁棒性，相对于图匹配问题他降低了计算的复杂度，提高了方法的实时性。因此该方法更适用于特征点数量适中，匹配实时性和准确性要求较高的图像配准、位姿估计等领域。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。