论文阅读笔记《Robust Feature Matching for Remote Sensing Image Registration via Locally Linear Transformin》

核心思想

  该文提出一种基于局部线性变换（Locally Linear Transforming，LLT）约束的特征匹配方法用于遥感图像的对齐。首先根据特征点之间的相似性，构建一个假定的匹配点集，然后从中将误匹配点筛除出去，得到最终的匹配结果。筛除误匹配点的过程，该文将其定义为一个带有隐变量的贝叶斯模型最大似然估计问题，并引入了局部线性变换约束（LLT），采用EM算法对其求解。作者研究了三种常见的变换形式：刚性变换（rigid transform）、仿射变换（affine transform）和非刚性变换（non-rigid transform），分别给出了在三种变换条件下的计算方法。

实现过程

问题定义

  首先，给出问题的定义和描述。给定一个包含$N$对匹配点的候选匹配点集$S=\{(x_n,y_n){\}}_{n=1}^N$，$x_n,y_n$分别表示两幅图像中的匹配特征点的二位坐标向量。假设正确匹配点的噪声满足各向同性的高斯分布，均值为0，方差为${\sigma }^{2}I$，$I$表示单位矩阵，误匹配点满足均匀分布。为每个匹配对引入一个隐变量$z_n\in \{0,1\}$，$z_n=1$表示匹配对$(x_n,y_n)$是正确匹配点，反之$z_n=0$表示匹配对$(x_n,y_n)$是错误匹配点。则在给定模型参数$\theta$和点$x_n$的条件下，采样得到$y_n$的概率，即$y_n$的条件概率模型为：

其中$\theta =\{\mathcal{T},{\sigma }^2,\gamma \}$表示模型的参数，$\mathcal{T}$表示匹配点之间的几何变换关系，对于正确匹配点$y_n=\mathcal{T}(x_n)$；${\sigma }^2$表示高斯分布的方差；$\gamma$表示$z_n=1$的概率，即$p(z_n=1)=\gamma$,$p(z_n=0)=1-\gamma$。$1/a$表示误匹配点的均匀分布，$a$表示第二幅图像（目标图像）的面积。对于点集的坐标向量$\mathbf{X}=(x_1,...,x_N{)}^T，\mathbf{Y}=(y_1,...,y_N{)}^T$，假设其满足独立同分布条件，可以得到概率函数$$p(\mathbf{Y}|\mathbf{X},\theta )=\prod _{n=1}^{N}p(y_n|x_n,\theta )$$则我们的求解目标则是寻找让概率函数取得最大值的模型参数$\theta$，即最大似然估计${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}p(\mathbf{Y}|\mathbf{X},\theta )$，这等价于最小化负对数似然函数

  为求解上述问题，该文采用了EM算法进行求解，关于EM算法的介绍可参见这篇博客《EM算法推导小记》。构建完整数据对数似然函数$$\begin{gathered} \mathcal{Q}(\theta ,{\theta }^{old})=\sum _{n=1}^N\sum _{z_n}p(z_n|x_n,y_n,{\theta }^{old})\ln p(y_n,z_n|x_n,\theta ) \\ =\sum _{n=1}^{N}p(z_n=1|x_n,y_n,{\theta }^{old})\ln p(y_n,z_n=1|x_n,\theta )+p(z_n=0|x_n,y_n,{\theta }^{old})\ln p(y_n,z_n=0|x_n,\theta ) \end{gathered}$$上式经过展开化简，并省略去与$\theta$无关的项之后可得

其中$p_n=p(z_n=1|x_n,y_n,{\theta }^{old})$表示$z$的后验概率，表示$(x_n,y_n)$是一对匹配点的概率。EM算法的E步骤，就是在已知参数${\theta }^{old}$的条件下，计算对数似然函数$\mathcal{Q}(\theta ,{\theta }^{old})$，核心在于计算后验概率$p_n$。根据贝叶斯定理，后验概率$p_n$的计算过程如下$$\begin{gathered} p_n=p(z_n=1|x_n,y_n,{\theta }^{old}) \\ =\frac{p(z_n=1)p(y_n|x_n,{\theta }^{old},z_n=1)}{p(z_n=1)p(y_n|x_n,{\theta }^{old},z_n=1)+p(z_n=0)p(y_n|x_n,{\theta }^{old},z_n=0)} \end{gathered}$$计算结果经过化简约分可得

EM算法的M步骤，则是寻找新的参数${\theta }^{new}$使得似然函数最大化，即${\theta }^{new}=\underset{\theta }{\mathrm{argmax}}\mathcal{Q}(\theta ,{\theta }^{old})$。令$\mathcal{Q}(\theta ,{\theta }^{old})$函数分别对${\sigma }^2$和$\gamma$求导，并使其导数为0，可得

其中$\mathbf{T}=(\mathcal{T}(x_1),...,\mathcal{T}(x_N){)}^T$，当EM算法收敛之后，我们可以求得最佳的后验概率$p_n$，并根据设定的阈值$\tau$，来判断$(x_n,y_n)$是否属于匹配点。匹配点集$\mathcal{I}$的定义如下

局部线性变换约束

  明确了问题的定义和求解目标之后，我们就要引入本文设计的局部线性变换约束条件LLT了。该条件是基于这样的一个假设，就是匹配点附近的局部结构在经过变换$\mathcal{T}$后仍保持不变。这是一个非常常见的假设条件，那么如何描述匹配点附近的局部结构呢？作者首先为点集$\mathbf{X}$中的每个特征点都找到其对应的$K$个最近邻，构建一个$N\times N$的权重矩阵$W$，其中的元素$W_{ij}$描述了点集中其他的点$x_j$和$x_i$之间的关系，如果$W_{ij}=0$，表示$x_j$不是$x_i$邻域内的点。然后通过最小化重构误差的方式来计算$W$，最小化目标函数为

约束条件为$\forall i,{\sum }_{j=1}^N{W}_{ij}=1$，通过最小二乘法可以很容易得到最优的权重矩阵$W$。那么根据上述的假设条件，我们希望变换后的点，其重构误差仍然很小，即得到一个变换损失项${\sum }_{i=1}^N{p}_i\Vert \mathcal{T}(x_i)-{\sum }_{i=1}^N{W}_{ij}\mathcal{T}(x_j){\Vert }^2$，将其与我们上文提到的似然函数$\mathcal{Q}(\theta ,{\theta }^{old})$结合起来，可得新的目标函数为

$\lambda >0$是一个平衡参数，为了估计参数$\mathcal{T}$，我们将上式展开，并忽略掉无关量，可得新的最小化目标函数

其由一个经验误差项和变换损失项构成。接下来就是根据不同的变换形式$\mathcal{T}$来求解了，该文研究了三种变换形式分别是刚性变换、仿射变化和非刚性变换。

1. 刚性变换

  对于刚性变换，$\mathcal{T}(x_n)=sR{x}_n+t$，$R$表示$2\times 2$的旋转矩阵，且为正交矩阵；$t$表示$2\times 1$的平移矩阵；$s$表示放缩系数。则优化目标函数可以写为

求解的推导过程，我们不再详述，感兴趣可参看原文。下面直接给出结果

其中

将$t$带回原目标函数中，并忽略与$R,s$无关的项可得

其中


只考虑与$R$有关的项可得

最优的$R=UD{V}^T$，其中$U$和$V$可由$US{V}^T=svd({\hat{\mathbf{Y}}}^T\mathbf{P}\hat{\mathbf{X}})$计算得到，而$D=diag(1,det(U{V}^T))$。最后$s$为

2. 仿射变换

  对于仿射变换，$\mathcal{T}(x_n)=A{x}_n+t$，$A$表示$2\times 2$的仿射矩阵；$t$表示$2\times 1$的平移矩阵，则目标函数为

最优的$t$和$A$分别为

3. 非刚性变换

  对于非刚性变换，作者采用在初始坐标$x$上加一个与坐标相关的偏移函数$f(x)$来描述变换$\mathcal{T}(x)=x+f(x)$，函数$f(x)$属于一个特定的函数空间$\mathcal{H}$，即为一个再生核希尔伯特空间（RKHS）。作者使用对角化高斯核函数$\Gamma (x_i,x_j)=\kappa (x_i,x_j)\cdot I=e^{-\beta \Vert x_i-x_j{\Vert }^2}\cdot I$来定义空间$\mathcal{H}$。则最优的非刚性变换$\mathcal{T}$可得

$c_n$表示系数，其由一个线性系统确定

其中$C=(c_1,...,c_N{)}^T$。作者还给出了一种稀疏得快速近似求解方法，这里就不赘述了。

创新点

• 将特征点匹配问题定义为一个最大化似然估计问题，并通过EM算法进行求解
• 引入了局部线性变换约束
• 针对刚性变换、仿射变换和非刚性变换给出了求解方法

算法评价

  抛开外在的求解形式，本文还是采用一个局部的线性变换约束来筛选出匹配的点，对于变换损失项过大的点会分配一个更低的匹配概率。将概率与匹配问题结合起来，通过最大化似然估计的方式来寻找匹配点的方式还是一种比较新颖的思路。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。