图像拼接领域的经典文章以及常用的算法函数（一）（SIFT，APAP，AANAP，Seam-sutting，HomographyNet等等）

1、特征点的匹配

首先进行SIFT的特征点的匹配：

SIFT特征点的提取与匹配是图像拼接的第一步，如何提取到有效的，鲁棒性强的特征点是接下来的工作的重要前提，搞清楚什么是尺度空间极值检测、关键点定位、方向确定、关键点描述。(注：可以使用matlab中的vl-feat中的sift函数进行特征点的提取)

(45条消息) SIFT算法详解_zddhub的博客-CSDN博客_sift

对于特征点的提取匹配问题一直是比较棘手的问题，对于视差变化较大的图像来说，如何消除来自视差的影响至关重要。

                                            

可以尝试使用Asift的特征点提取匹配算法来提取视差较大的场景中的特征点。

(45条消息) [ASIFT 0] ASIFT算法深入讲解_盐粒-blog的博客-CSDN博客_asift

（demo，可以看一看大视差情况下SIFT与ASIFT之间的特征点匹配数量）

 IPOL Journal · ASIFT: An Algorithm for Fully Affine Invariant Comparison

其次如何进行弱纹理情况下的特征点的提取，这个也是一个重要的研究方向，因为特征点一般取自灰度变化较大的地方，而弱纹理区域并不符合该条件。这种弱纹理的情况下：可以考虑借鉴深度学习中的HomographyNet网络。该网络并没有涉及到特征点的提取（也就不存在什么强弱纹理），而是将Homography的估计转换为对应的Patch角点的偏移估计。该网络输入一个PatchA以及一个经过扰动后的逆投影变换的PatchB来输入到vgg网络中，将Homography的估计转换为相应的Patch角点的偏移，为什么不直接预测Homography呢？因为Homography3*3矩阵中参数定义的量纲是不一致的，因此进行回归任务的时候训练出现不同步。PatchA和PatchB 的产生流程如下：

 

在弱纹理的情况下，该网络进行投影变换得到的MSE的值要明显小于使用SIFT匹配的的MSE。