Python 图像拼接

图像拼接

1.1 基本介绍

  图像拼接技术就是将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅无缝的全景图或高分辨率图像的技术。图像拼接在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。
  图像配准（image alignment）和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。

1.2 基本原理

  在图像拼接中首先利用SIFT算法提取图像特征进而进行特征匹配，继而使用RANSAC算法对特征匹配的结果进行优化，接着利用图像变换结构进行图像映射，最终进行图像融合。

1.2.1 解决“鬼影”：APAP算法

算法流程：

• 提取两张图片的sift特征点
• 对两张图片的特征点进行匹配
• 匹配后，使用RANSAC算法进行特征点对的筛选，排除错误点。筛选后的特征点基本能够一一对应
• 使用DLT算法，将剩下的特征点对进行透视变换矩阵的估计
• 由于得到的透视变换矩阵是基于全局特征点对进行的，即一个刚性的单应性矩阵完成配准。为提高配准的精度，Apap将图像切割成无数多个小方块，对每个小方块进行单应性矩阵变换，非常依赖于特征点对。若图像高频信息较少，特征点对过少，配准将完全失效，并且对大尺度的图像进行配准，其效果也不是很好，一切都决定于特征点对的数量。

1.2.2 寻找最佳拼接缝

为什么寻找最佳拼接缝？
  因为图像的重叠导致了重影，解决方式就是不让图片重叠。具体的方式是在图像重叠的区域中找到一条切割线，使得在切割线的左边用图片A，在切割线的右边用图片B，则就解决了图像拼接后因为重叠而导致的重影问题。

寻找原则：
  要找到一条好的切割线，就要在线的左右两边图像的像素差异比较小，这样切割出来的效果，就没有强烈的违和感。

1.2.3 图像融合

  采用Laplacian（拉普拉斯）金字塔，通过对相邻两层的高斯金字塔进行差分，将原图分解成不同尺度的子图，对每一个之图进行加权平均，得到每一层的融合结果，最后进行金字塔的反向重建，得到最终融合效果过程。

1. 首先计算当前待拼接图像和已合成图像的重叠部分。
   

2. 两幅图像的融合：分别构建图像A、B的高斯金字塔和拉普拉斯金字塔，然后进行加权融合。
   

3. 对加权后的拉普拉斯金字塔进行重构。
   

1.3 实验过程

1.3.1 实验代码

from numpy import *
from matplotlib.pyplot import *
from PIL import Image
from numpy import array, vstack, dot

import warp
import homography
from PCV.localdescriptors import sift


featname = ['img/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['img/' + str(i + 1) + '.jpg' for i in range(5)]
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)

# 将匹配转换成齐次坐标点的函数
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# 估计单应性矩阵
model = homography.RanSacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2

fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1

tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2

tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# 扭曲图像
# img delta
# delta = 100  # 用于填充和平移 for padding and translation
# libraryimg delta
delta = 2000

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

1.3.2 实验结果

拼接图像数据集：

特征匹配结果：

图像拼接结果：

1.3.3 结果分析

  实验需要用到五张图片，仔细观察实验结果发现中间部分的图片拼接的相对比较好，但是拼接处明暗差距比较明显。边缘的两张图片首先是出现了错位的情况，使得周边环境拼接迹象明显且有一点倾斜。其次是有棵树的位置出现错误。仔细观察采集的图像，发现虽然图像间有相同的部分并且定点拍摄，但是拍摄角度把控得不是很好，边缘两张图片中有两棵树很相似，导致左侧的树拼接到了右侧。左侧周边环境中的树反而缺失了。并且由于拍摄得不是很好，建筑顶部和建筑前面的空地没有在最终的图像拼接中体现出来，被裁减掉了，只保留了中间部分。

  在经过多次尝试后又考虑到图片的顺序会不会对结果有影响，原定采用从左到右的图片顺序，于是考虑尝试用从右到左的图片顺序，经过多次尝试后发现从右到左的图片拼接效果要比从左到右的拼接效果更好，不仅减少了错位的状况，也没有图片顺序出错的问题。
图片顺序从左到右：

图片顺序从右到左：

  日常生活中，一般手机都具备了全景拍摄的功能，期间的原理就包含了图像拼接，通常会有沿水平线匀速平稳移动镜头的提示，目的就是为了采集到尽可能好的图像数据集合，使得最终的拼接效果更好，如果采集时的偏差大，就会出现像本次实验结果一样的状况。不仅拼接处痕迹明显，还可能会有错位的情况。

  本次实验中，图像的像素大小会影响代码的运行速度，建议缩小一下图像的像素再运行，其次每张图片的长宽需相同，否则就会出现下面这个错误