python实现全景拼接

一、原理

1全景拼接

将SIFT应用到图像拼接上，根据特征点匹配的方式，则利用这些匹配的点来估算单应矩阵（使用上面的RANSAC算法，也就是把其中一张通过个关联性和另一张匹配的方法。通过单应矩阵H，可以将原图像中任意像素点坐标转换为新坐标点，转换后的图像即为适合拼接的结果图像。可以简单分为以下几步：
1.根据给定图像/集，实现特征匹配。
2.通过匹配特征计算图像之间的变换结构。
3.利用图像变换结构，实现图像映射。
4.针对叠加后的图像，采用APAP之类的算法，对齐特征点。(图像配准)
5.通过图割方法，自动选取拼接缝。
6.根据multi-band blending策略实现融合。

1.1图像配准

图像配准是对图像进行变换，使变换后的图像能够在常见的坐标系中对齐。为了能够进行图像对比和更精细的图像分析，图像配准是一步非常重要的操作。图像配准的方法有很多，这里以APAP算法为例：
1.提取两张图片的sift特征点
2.对两张图片的特征点进行匹配
3.匹配后，仍有很多错误点，此时用RANSAC进行特征点对的筛选。筛选后的特征点基本能够一一对应。
4.使用DLT算法，将剩下的特征点对进行透视变换矩阵的估计。
5.因为得到的透视变换矩阵是基于全局特征点对进行的，即一个刚性的单应性矩阵完成配准。为提高配准的精度，Apap将图像切割成无数多个小方块，对每个小方块的变换矩阵逐一估计。

1.2图割方法

最大流最小割算法原理，在下文博客中有很好的讲解
https://blog.csdn.net/qq_28739605/article/details/80684704
1.最小割问题
一个有向图，并有一个源顶点（source vertex）和目标顶点（target vertex）.边的权值为正,又称之为容量（capacity）。如下图

一个st-cut(简称割cut)会把有向图的顶点分成两个不相交的集合，其中s在一个集合中，t在另外一个集合中。
这个割的容量（capacity of the cut）就是A到B所有边的容量和。注意这里不包含B到A的。最小割问题就是要找到割容量最小的情况。

2.最大流问题
跟mincut问题类似，maxflow要处理的情况也是一个有向图，并有一个原顶点（source vertex）和目标（target vertex），边的权值为正,又称之为容量（capacity）。
（1）初始化，所有边的flow都初始化为0。
（2）沿着增广路径增加flow。增广路径是一条从s到t的无向路径，但也有些条件，可以经过没有满容量的前向路径（s到t）或者是不为空的反向路径(t->s)。

1.3图像融合

图像拼接完成以后会发现在拼接的交界处有明显的衔接痕迹，存在边缘效应，所以需要特定的处理解决这种不自然。这时候可以采用blending方法。multi-band blending是目前图像融和方面比较好的方法。

二、代码

# -*- coding: utf-8 -*-
from pylab import *
from numpy import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift

np.seterr(invalid='ignore')
"""
This is the panorama example from section 3.3.
"""

# set paths to data folder
featname = ['C:\Python\Pictrue/apap/pic' + str(i + 1) + '.sift' for i in range(5)]  # 图片路径记得修改
imname = ['C:\Python\Pictrue/apap/pic' + str(i + 1) + '.jpg' for i in range(5)]

# extract features and match
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)


# function to convert the matches to hom. points
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# estimate the homographies
model = homography.RansacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2

fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1

tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2

tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# warp the images
delta = 1600  # for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_02, "uint8"))
axis('off')
savefig("example1.png", dpi=300)
show()

三、实验结果及分析

1.固定点位拍摄多张图片

图片集：

运行结果：

在第一组场景中，因为角度够大（大约有160°），所以能将画布铺满，并且五张图片都成功拼接，由于拍摄是手持手机拍摄，没有固定的高度，亮度也有些许不同，所以拼接时会有不可避免的高度差异和亮度差异，在该图中存在三处明显的拼接缝（图中红框所示），一处因为拼接而丢失的部分（图中蓝框所示），还有两处变形扭曲（图中黄框所示），图片拼接后出现扭曲是因为APAP算法是对每个小格做单应性变换，从单个小格看是没有特征的，所以拼接起来会出现扭曲的现象，可以尝试通过blending进行融合来达到更好的效果。

2.针对同一场景，更换拍摄位置

图片集：

运行结果：

在第二组场景中采用更换拍摄位置获取三张图片进行拼接，近景花盆并没有进行拼接而是只取了第三幅图的花盆，远景部分有拼接但是没有完整拼接（如图中红框所示），可能与拍摄手持有一定的关系，远景也有一定的扭曲（如图中黄框所示），更换拍摄位置以后会的效果一直都不太好，有试过很多组拍摄位置不同的图片，这一组是因为角度偏小可以得到拼接图片，角度过大就会变成如下所示：
角度过大数据集：
角度过大拼接结果：

角度过大时会按照远景进行拼接而忽略了近景（如图中红框所示）。

四、遇到的问题及解决方法

1.图像尺寸过大/图像尺寸不一致

这两个都会问题都会造成程序中断运行，运用软件将其调整为大小一致即可，图片我统一调整大小为宽1000*长按比例缩放

2.runtimewarning：invalid value encountered in divide

使用阿Q方法，用以下代码句忽略该错误，不会报错就能继续运行，但是得到的结果往往不会理想

np.seterr(invalid='ignore')

3.did not meet fit acceptance criteria

这个错误代表拼接失败，只在同一场景，不同拍摄位置中出现该错误，重新选择了好几组图片才得到解决。

4.图片编号问题

图片应该按拍摄角度从右到左编号，这样才能正确编译，因为匹配是从最右边的图片开始计算的。