挑战杯 基于机器视觉的图像拼接算法

前言

图像拼接在实际的应用场景很广，比如无人机航拍，遥感图像等等，图像拼接是进一步做图像理解基础步骤，拼接效果的好坏直接影响接下来的工作，所以一个好的图像拼接算法非常重要。

再举一个身边的例子吧，你用你的手机对某一场景拍照，但是你没有办法一次将所有你要拍的景物全部拍下来，所以你对该场景从左往右依次拍了好几张图，来把你要拍的所有景物记录下来。那么我们能不能把这些图像拼接成一个大图呢？

这是一个较为新颖的竞赛课题方向，学长非常推荐！

更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

---

一、拼接效果

依照惯例， 废话不多说，先上拼接效果

拼接左图：

拼接右图：

拼接效果：

拼接前：

拼接后：

二、算法介绍

1.拼接算法简介

图像拼接技术就是将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅无缝的全景图或高分辨率图像的技术。在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。

图像拼接目前有很多算法，图像拼接的质量，主要依赖于图像的配准程度，因此通过不同的图像匹配方式将算法分为以下两种：

1.1 基于区域相关拼接算法

该算法比较传统和普遍，从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异（1.通过累加各点灰度的差值，2.计算两块区域的对应像素点灰度值的相关系数，相关系数越大，则两块图像的匹配程度越高，3.两者中计算相关系数的效果更好）。对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。
也可以通过FFT 变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。

1.2 基于特征相关拼接算法

于特征的配准方法不是直接利用图像的像素值，而是通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。

在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。

1.3 拼接算法的基本流程

• 根据给定图像/集，实现特征匹配
• 通过匹配特征计算图像之间的变换结构
• 利用图像变换结构，实现图像映射
• 针对叠加后的图像，采用APAP之类的算法， 对齐特征点
• 通过图割方法，自动选取拼接缝
• 根据multi-band bleing策略实现融合

2. 拼接算法原理

2.1 第一种：特征匹配

特征是要匹配的两个输入图像中的元素，为了给图像提供更好的特征匹配，采用角点匹配，进行定量测量。在视点变化时，角点特征是稳定的。角点检测算法有Harris角点检测算法、SIFT特征点检测算法、FAST角点检测算法、SURF特征点检测算法。
本次实验使用的Opencv stitch源码中默认第一选择是SURF特征点检测，第二是ORB特征点检测。
SURF（Speeded Up Robust
Features）改进了特征的提取和描述方式，用一种更为高效的方式完成特征的提取和描述。它是SIFT的高效变种，也是提取尺度不变特征，算法步骤与SIFT算法大致相同，但采用的方法不一样，SURF算法要比SIFT算法更高效。

2. 2 第二种：计算图像之间的变换结构

• 2.1.SURF使用Hessian矩阵来检测特征点，该矩阵是x,y方向的二阶导数矩阵，可测量一个函数的局部曲率，其行列式值代表像素点周围的变化量，特征点需取行列式值的极值点。
• 2.2特征点定位：通过特征点邻近信息插补来定位特征点。
• 2.3方向定位：通过计算特征点周围像素点x,y方向的哈尔小波变换，并将x,y方向的变换值在xy平面某一角度区间内相加组成一个向量，在所有的向量当中最长的(即x、y分量最大的)即为此特征点的方向。
• 2.4特征描述子：选定了特征点的方向后，其周围相素点需要以此方向为基准来建立描述子。此时以5 ∗ 5 5 55∗5个像素点为一个子区域，取特征点周围 20 ∗ 20 20 2020∗20个像素点的范围共16个子区域，计算子区域内的x、y方向(此时以平行特征点方向为x、垂直特征点方向为y的哈尔小波转换总和Σdx、ΣdyΣdx、Σdy与其向量长度总和Σ|dx|、Σ|dy|Σ|dx|、Σ|dy|共四个量值，共可产生一个64维的描
• 2.5如果两个特征点的矩阵迹正负号相同，代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，也直接予以排除。
• 2.6用方型滤波器取代SIFT中的高斯滤波器，利用积分图（计算位于滤波器方型的四个角落值）大幅提高运算速度。

2. 3 第三种：通过graph cut寻找拼接缝

上图中，我们把两个Patch拼合到一起，它们首先被放置为有一定重合区域。为了让两者之间的缝隙尽可能的不明显，我们需要知道一个分割线（cut)，在这个分割线的左边，图像像素由A贡献，相反在其右边，图像像素则由B贡献。
这里我们将输出的图像看做是由”图(Graph)“所表示，并且给这个Graph两个端点，一个是A，一个是B：

上图中，标有数字的节点实际上是重合区域的像素，节点之间的连接都是有代价的。我们需要拿起剪刀从某个连接上剪掉某些连接，并且要使得被剪掉的连接的代价之和最小化，这就是最典型的图算法中的最小割问题（min
cut），它也对应着所谓的最大流问题(max flow)。
那么，如何定义连接之间的代价呢？这里假设在重合区域两个相邻的输出像素分别是s和t。我们知道输出的像素既可能来自于A，也可能来自于B，于是我们用A(s)，B(s)来表示s点在A图和B图的颜色,
用A(t)，B(t)来表示t点在A图和B图的颜色。
于是，s点和t点的连接的代价被定义为：

我们要做的就是寻找一个切割缝，最小化M ( s , t , A , B )
M(s,t,A,B)M(s,t,A,B)当找到这条缝之后，左边的像素从A中拷贝而来，而右边的像素则从B中拷贝而来即可。
接下来就可以不断的拼合更多的Patch，目标是用越来越多次的覆盖输出图片中的缝隙，使得图像重合部分越来越多，直到代价值收敛。

最后

更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate