阅读笔记（TMM2018）Parallax-Tolerant Image Stitching Based on Robust Elastic Warping

参考文献：

Li J, Wang Z, Lai S, et al. Parallax-Tolerant Image Stitching Based on Robust Elastic Warping[J]. IEEE Transactions on Multimedia, 2018, 20(7).

截至2018年9月6日，该论文在Google学术上的引用量为1.

大类学科	小类学科	Top期刊	综述期刊
工程技术 2区	COMPUTER SCIENCE, INFORMATION SYSTEMS 计算机：信息系统 2区 COMPUTER SCIENCE, SOFTWARE ENGINEERING 计算机：软件工程 1区 TELECOMMUNICATIONS 电信学 2区	是	否

2017-2018最新影响因子	3.977
2017-2018自引率	21.40%

摘要：

图像拼接旨在使用最低计算代价生成质量的高质量全景图。在本文中，我们提出了一种基于鲁棒弹性变形的视差宽容图像拼接方法，可以同时实现精确对齐和高效处理。给定图像之间的一组点匹配，构造解析变形函数以消除视差错误。然后根据计算出的网格化图像平面上的变形对输入图像进行变形。无缝全景由直接重新投影变形图像组成。作为所提出的方法的重要补充，我们提出了贝叶斯特征细化模型来自适应地去除不正确的局部匹配。这确保了比现有方法更强大的对齐。而且，我们的变形与不同的转换类型高度兼容。作为一个例子，提供了一个将其与全局相似变换相结合的灵活策略。提出的方法的表现使用几个具有挑战性的情况来说明。

简介：

具有视差的拼接图像在计算机视觉中仍然是一项具有挑战性的任务。 它对于生成高分辨率全景图像和视频至关重要，这些图像和视频在当今多媒体技术的应用中发挥着重要作用，如监视[1]，沉浸式通信[2]和虚拟现实[3]。 传统的拼接方法通常估计每个输入图像的最佳全局变换。 一个典型的例子是AutoStitch [4]，正如Brown等人提出的那样。当摄像机平移可以忽略不计[5]或场景接近平面时，全局方法适用于理想情况[6]。 然而，对于具有视差的一般情况，例如图1中的输入图像，在所得到的全景图中将出现不期望的伪像。

---

（我）注：如果只是为了对比的效果，那么一个Homography自然是比不过。但对于铁轨图像，APAP已得到比较好的对齐。

本文的主要工作：

在本文中，我们专注于图像的准确和有效对齐。提出了一种基于鲁棒弹性变形的视差图像拼接方法。我们方法的基本数学框架建立在TPS模型[25]之上。我们首先说明了TPS的基本理论和给出一组点匹配的弹性变形模型。其次，通过分析变形参数的统计规律，我们提出了一种贝叶斯特征细化模型，以自适应地去除匹配数据的局部异常值。在完成重叠区域中的可靠且精确的对准之后，我们通过线性地减小非重叠区域上的变形函数来逐渐地将局部扭曲改变为全局变换，从而保持全局投射性。受益于我们的经线的高度兼容性，我们还提供灵活有效的策略，将其与全局相似性转换相结合。所提出的方法可以很容易地扩展到多个图像拼接，我们通过展示整个扩展的工作流程以及一些重要原则来总结。
所提出的变形可以视为基于网格的模型和直接变形策略的组合。如图2a所示，首先使用全局变换计算特征点的投影偏差。然后可以使用分析变形函数对整个图像上的偏差进行插值。为了加速计算，我们在图像平面上设置网格网格，仅计算网格节点上的函数值，如图2b所示。其他像素的变形直接从双线性插值中获得。在保持对准精度的同时提高了计算效率。图2c示出了变形图像，其中消除了特征点之间的投影偏差。最后，通过重新投影扭曲的图像来构成全景图，如图1所示。

---

---

---

实验结果：

去除外点的算法：

（我）注：寺庙图像。图6（b）的确比APAP、SPHP的效果好。但感觉与AANAP比起来差不多。

 

---

论文的拼接算法：

标价指标

结论：

本文提出了一种基于鲁棒弹性变形的有效高效的图像拼接方法。首先，构造弹性变形模型以消除视差误差。在不牺牲对准精度的情况下，在图像平面上设置均匀的网格网格以加速变形函数的计算。变形模型直接从匹配数据导出，然后应用于原始输入图像。因此，它可以被解释为对全局模型的修正。可以通过直接重新投影变形图像来构成全景。其次，提出了一种贝叶斯特征细化模型，以从匹配数据中自适应地去除局部异常值。这是所提出的变形模型的重要补充，其确保比现有方法更稳健的对齐。第三，我们提供将经线与全局相似性转换相结合的策略，以从其高度灵活性中获益。最后，我们提供了使用我们的方法拼接多个图像的整个工作流程，以及一些重要原则。我们的方法的缝合质量，灵活性和计算效率通过一系列具有挑战性的案例的几个对比实验进行了仔细评估。我们未来的工作将集中在更强大的遮挡处理和视频拼接上。

（我）注：对比实验充分，各项指标也是亮点。最最重要的是，作者公开了代码。纯MATLAB的。学习了。

IEEE多媒体