【论文精读】Graph-based Hypothesis Generation for Parallax-tolerant Image Stitching-基于图的视差容忍图像拼接假设生成

论文下载地址

这篇论文是J. Chen等人在2018年写的一篇关于接缝拼接图像拼接的论文。

摘要

现有的接缝驱动方法被证明对视差容忍的图像拼接相当有效，其策略是从局部对齐的有限代表性假设中搜索不可见接缝。
本文基于此提出一种基于图的假设生成和接缝引导的局部对齐方法，以提高接缝驱动方法的有效性和效率。

一、介绍

视差处理对于图像拼接来说是一项具有挑战性的任务。全局对齐通常会引入明显的伪影或令人不快的失真。接缝驱动方法是解决视差问题的有力工具，它搜索有限的局部对齐代表性假设，寻找看似合理和自然的接缝[1]–[3]。有效性和效率取决于局部对齐假设的质量和数量，这些假设分别对应于图像扭曲和对应分组（见图1）。

实际上，对应分组包括确定扭曲和对齐和分组特征对应的策略。图像扭曲通过接缝、失真和自然度的质量进行评估。高等人[1]使用单应性（homo）和多个 RANSAC 将征对应划分为假设，并通过单应性生成相应的局部对齐。Zhang和Liu[2]使用单应性和随机策略(种子)进行通信分组，然后结合单应性和内容保持扭曲(CPW)生成局部对齐假设。Linet等人[3]使用单应性和一种新的基于超像素的策略(组合)进行通信分组，然后使用具有自适应特征加权的结构保持扭曲(SPW)来生成局部对齐假设。由于单应性不够灵活，这些对应分组没有足够的代表性，进而产生一些不良假设，导致效率降低。另一方面，在场景的非平面几何体的情况下，这些图像扭曲会受到失真和自然性问题的影响，因此它们的缝合结果看起来不太自然。表格显示了在对应分组和图像扭曲方面接缝驱动方法的比较。
在本文中，我们提出了一种基于图的假设生成和一种用于视差容忍图像拼接的接缝引导局部对齐方法。首先，我们使用尽可能投影（APAP）扭曲和基于图的策略将双重特征对应分为几个有代表性的假设。然后，我们使用单透视网格变形（SPMD）和依赖于当前接缝的自适应特征权重来生成相应的局部对齐。最后，我们从这些假设中寻找良好的接缝，并创建最终的缝合结果。实验表明，与SEAGULL相比，假设的数量显著减少，最终缝合结果的自然质量也有所提高。

二、对应分组

为了提高配准精度和降低失真，我们将线段对应和点对应作为特征对应，在[4]中称之为双特征对应。另一方面，为了增加翘曲的灵活性，我们将APAP[5]作为我们的分组翘曲。下面，我们将对应分组形成一个有源和汇的加权图，然后通过计算它们之间的最短路径来求解。
为了公式化，我们首先对参考图像中的三个点（两个端点和一个中点）的线段对应进行采样，并在图像边界上插入一个源点和一个汇点（上下为水平拼接，左右为垂直缝合）。然后我们通过对双特征点、源点和汇点的 Delaunay 三角剖分建立一个图。特征点fi和fj之间边缘的权重由交叉剩余距离误差（CRDE）定义，其可由w（w（fi，fj）的缩写）计算，

其中| |·| |是点的欧氏距离，d（·，·）是[4]中线段的距离，hi（fj）是fj在特征fi的位置相关单应hi下的变换特征，可通过移动直接线性变换（MDLT）方法通过求解

其中A∈R2N×9由点对应{(pi, pi ')}Ni=1构成，B∈R2M×9由线段对应{(lj, lj ')}Mj=1构成，WAi∈R2N×2N, WBi∈R2M×2M取决于fi与其他特征{pi}Ni=1和{lj}Mj=1之间的距离。这里，我们参考[4]-[6]了解更多细节。图2(a)说明了形成后的加权图，其中边权以某种方式表明了通过APAP对齐两个特征对应的灵活性。因此，我们下一步需要确定一种策略，将这些通信分组到一个假设中，该假设形成一个子图，由边权小于阈值的源顶点和汇聚顶点组成。
分组时，首先通过Dijkstra算法计算加权图中源顶点与汇聚顶点之间的最短路径(图2(b)用红色标出)。然后，我们通过路径上的特征初始化假设，迭代地插入新的特征，这些特征不仅与之前的特征相连接，而且边缘权值小于阈值。直到没有新的特征可以插入到当前假设(图2(b)中的绿色部分)为止，该过程将终止。值得注意的是，为了避免最短路径遇到顶点较少但权值大于阈值的路径，我们使用了一个sigmoid度量对边权值进行预处理，类似于[7]中的度量。
随后，通过迭代地将最后一条最短路径的边缘权重修改为非常大的正数，并执行分组过程，直到剩余对应的数量小于30，或者最短路径的边缘权重大于阈值，来生成其他假设。在实验中，我们使用VLFeat提取和匹配SIFT特征，使用LSD提取线段并通过[8]进行匹配，使用RANSAC去除异常值。边缘权重的阈值设置为10。由于APAP比单应性更灵活，我们基于图的对应分组生成的假设更少但更具代表性。与海鸥[3]的假设数量比较如表二所示。

三、图像扭曲

为了解决失真和自然问题，我们认为SPMD（9）作为我们的图像扭曲，以产生相应的局部对齐为每个假设。首先，我们通过从1到n的顶点索引对目标图像进行网格划分，并将其重塑为2n维向量V。变形后的n个顶点用V’表示。然后，总能量函数定义为

其中，这四个术语分别处理对齐、自然性、失真和显著性问题。最后，由于（3）是稀疏的和二次的，所以通过任何稀疏线性解算器求解min E（V’）可获得局部对齐。这里，我们参考[9]了解更多详细信息。
为了进一步提高局部对齐的接缝质量，我们使用了[3]中的自适应特征加权策略，使得优化局部对齐的过程由估计的接缝引导。对齐和自然度项分别修改为

其中φ（·）是双特征点四个封闭网格顶点的双线性插值，wi和wj’是自适应特征权重，取决于当前对齐误差和到当前接缝的距离。这里，我们参考[3]了解更多详细信息。
对于缝合接缝的估计，我们使用[7]中基于感知的接缝切割方法，该方法使用一个S形度量来表征颜色辨别的感知，并使用显著性权重来模拟人眼倾向于更加关注显著对象。
迭代结束，直到与上一次迭代相比，顶点位置的平均变化小于一个像素或迭代数超过5。在实验中，将参数设置为[3]，[7]，[9]中的推荐值。由于局部对齐、自然度、失真度和显著性的特性是同时进行并迭代优化的，因此我们的缝线引导局部对齐创建了看起来更自然的最终拼接结果。表ii和图3说明了与SEAGULL的假设质量和自然度的比较。

四、实验

我们将我们提出的方法与目前最先进的方法SEAGULL[3]进行了比较。我们在SEAGULL提供的24对具有挑战性视差变化的公开数据集上评估了这两种方法。
首先，我们将对应分组的假设数与SEAGULL进行比较。表II显示了比较结果，在大多数情况下，我们的分组方法产生的假设数量较少。在[3]中可以找到其他接缝驱动方法[1]、[2]在相同数据集上的比较结果。

我们还将图像变形的接缝和自然质量与 SEAGULL 进行比较。表二包括假设数量（hypo）和接缝质量（seam）显示了接缝质量的比较结果，该结果由沿接缝的 15×15 个局部斑块的零均值归一化互相关（ZNCC）得分衡量为在 [3]。在大多数情况下，我们的扭曲方法的局部齐得分较低。图 3 显示了最终拼接结果的比较结果，其中 SEAGULL 有时会出现投影失真（以红色矩形表示），而我们的最终拼接结果看起来更自然。补充材料中提供了所有 24 对比较结果。

五、结论

在本文中，我们提出了一种新的基于图的假设生成和一种用于视差图像拼接的接缝引导局部对齐方法。实验表明，与最先进的SEAGULL方法相比，假设的数量显著减少，最终缝合结果的自然质量也有所提高。

六、参考文献

参考文献的前3篇参考文献也是接缝拼接方法中不错的论文，但可惜我还未能找到它们对应的论文代码，如果有知道这些论文对应代码的，欢迎与我联系！谢谢！

完！