阅读笔记（ECCV 2018）GreenWarps: A Two-Stage Warping Model for Stitching Images Using Diffeomorphic Meshes

参考文献

Jacob G M, Das S. GreenWarps: A Two-Stage Warping Model for Stitching Images Using Diffeomorphic Meshes and Green Coordinates[C]//European Conference on Computer Vision. Springer, Cham, 2018: 740-744.

摘要

图像拼接是在图像中存在大视差时要解决的难题。具体而言，对于来自无约束视频的帧序列而言，相当不稳定，最近的作品未能准确地对齐这样的图像序列。所提出的方法“GreenWarps”旨在精确地对准具有大视差的帧/图像。该方法包括两个新阶段，即预变形和网格变形。第一阶段使用格林坐标将未对齐图像变形到参考图像。第二阶段使用demon-based diffeomorphic变形方法来确定对齐，该方法被称为“DiffeoMeshes”的网格变形。在两个阶段中，使用绿色坐标进行变形而不假设任何运动模型。两个阶段的组合提供了图像的精确对准。在两个标准图像拼接数据集和一个由不受约束的视频创建的图像组成的数据集上进行实验。结果表明，与现有技术方法相比，我们的方法具有更好的性能。

简介

图像拼接是计算机视觉和图形领域中广泛研究的问题，它从一组狭窄的视野图像中生成单个宽视野图像。几种变形模型，包括基于单应性的变形[1,2]、空间变化变形模型[3-5]、混合模型[6-9]、视差容忍模型[10-12]和图像拼接软件，如Adobe Photoshop和Autostitch ，当提供非理想数据作为输入时，表现不佳。

任何拼接算法的主要挑战是视差，遮挡，运动模糊和移动物体的存在。 具体而言，对于拼接无约束视频的帧（例如抖动/抖动的视频），最先进的技术也未能提供令人满意的结果。 原因是图像拼接假设特定的基础运动模型，因此在存在大视差时使任务具有高度挑战性。

图像拼接算法的常用方法遵循估计图像之间的变换的流程，使用变形模型对齐图像并使用接缝技术或混合技术缝合它们。我们提出了一种新的基于网格的变形模型，称为“GreenWarps”，利用格林坐标[13]和demon-based diffeomorphi变形模型[14]来对齐图像。

“GreenWarps”变形模型包括两个阶段，即预变形和“DiffeoMeshes”。第一阶段，在要缝合的图像之间产生全局共形映射。共形映射不会引起任何形状，从而提供保持形状和无失真的变形。所提出的方法的第二阶段，称为“DiffeoMeshes”，基于两个图像的半密集对应提供网格变形，并且重新确定从第一阶段获得的对齐。两个阶段都使用格林坐标来变形的网格，而不是像先前的方法那样基于计算的变换来变形图像。

>>>由于我们的方法不假设任何运动模型，因此它不受大视差误差的影响。（Interesting！！！）

提出的方法

所提出的“GreenWarps”方法的步骤是：

（i）估计SIFT对应；

（ii）基于格林坐标的预变形；

（iii）基于DiffeoMeshes的网格变形和基于格林坐标的变形；

（iv）混合图像，获得拼接图像。

与空间变化的变形类似，GreenWarps执行保持网格变形的形状，以将图像与参考图像对齐。 有趣的是，我们的方法在对齐或变形过程中不计算任何变换矩阵。 这确保了我们的方法不假设任何运动模型。 基于格林坐标执行两个阶段的变形（预变形和差异变形）。

在要拼接的图像中，我们将其中一个作为参考图像（R），另一个作为未对齐图像（U）。未对齐图像首先被划分为图像网格，其中每个网格具有4个顶点。预变形阶段采用U的2×2网格。未对齐图像的每个点，根据其对应网格的格林坐标[13]定义有：，其中、是与包含点、的网格的4个坐标和边相关联的格林坐标向量，是4个顶点的向量，并且是包含点的网格的边缘的法线向量。ASAP变形算法[3]是基于相应的SIFT特征生成变形顶点。格林坐标（对于图像中的每个像素）首先从[15]中导出的初始网格估计。使用计算的格林坐标执行基于变形顶点的图像的变形。预变形图像中未对准图像的任何点的对应位置，具有变形顶点和更新法线，可得如下公式：。其中，是归一化边长[13]。基于格林坐标的变形，如[13]中所提供的保形映射，保留了结构的形状。因此，格林坐标提供图像的自然变换以用于对齐而不假设任何运动模型。在我们的方法中不存在透视失真，这是许多以前的方法[10,12,16]中的问题。

ps：实话实说，这段话真是touch me了~~~

“Green coordinates provide a natural transformation of the image for alignment without assuming any motion model. Perspective distortion, a problem in many previous approaches [10,12,16] is absent in our approach”。