图像拼接

图像拼接参考资料
RANSAC参考资料

图像拼接

图像拼接是将两张或两张以上、且两两图像之间具有相同的特征点（SIFT特征点）的图像通过特征匹配拼接在一起。手机上照相机的全景照相就是图像拼接的一个应用

特征点匹配

匹配错误的特征点干扰

在进行图像匹配之前都需要找出输入的两张图片（或者多张）的特征点（SIFT特征点）然后再匹配上这些特征点，但是这可能会出现一个问题，如果图像的噪声太大，就会使得特征点的匹配发生了偏差，匹配到了错误的点，这种不好的匹配效果，会对后面的图像拼接产生很大的影响，如下图

消除干扰

要消除特征点的噪声，我们可以拟合特征点，找到一个合适的拟合线，然后消除噪声点。

下面简单看几种曲线的拟合

1. 直线拟合
   假设空间中有一些已知的点，要将这些点拟合出一条直线，我们不难想到最小二乘法，但是我们这里用的不是最小二乘法。我们在最开始先设定一个阈值，然后在空间中不断找两个随机点，接着构造过这两个点的直线，计算在这条线上的点的数量（inliers），如果在这条线上的点的数量达到了指定的阈值，我们就把这条直线当作是拟合的直线。
   
2. 圆拟合
   我们知道了可以不断的随机找两个点去拟合直线，那如果我们要拟合圆该怎么做。两点可以确定一条直线，那么三点就可以确定一个圆，所以我们就可以随机找三个点，确定经过这三个点的圆，然后计算这个圆上的点的数量，达到指定阈值就可以确定要拟合的圆
3. 曲线拟合
   如果要拟合一条曲线，我们无法通过找几个随机的点就确定一条曲线，而是给定一个多项式（如ax^3+ bx^2+cx+d），这个多项式它是存在未知参数的（a、b、c、d），如果我们求解出了这个多项式的参数，就相当于求解出了拟合的曲线，含有4个未知参数，就需要4个可能解来求出这个多项式，有5个，就需要5个可能解来求出这个多项式，以此类推。
   

处理匹配错误的特征点

经过上面的曲线拟合方法的介绍后，对于匹配错误的特征点，我们该怎么做？
正确的做法是不断选择一对匹配的特征点，然后计算由这对特征点确定的数学模型的inliers。当inliers达到阈值条件，拟合出了数学模型后，便计算两幅对应所有特征点的偏移量，求出偏移量的平均值，最后进行图像拼接。

RANSAC

1、RANSAC（RANdom SAmple Consensus，随机抽样一致），它是根据一组包含局外点（异常数据）的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。在这里换句话就是说，可以从一组包含异常匹配（匹配错误）的特征点数据集中，找到可以拟合这组数据的数学模型参数，得到正确匹配的特征点。 RANSAC目的就是找到一个单应性矩阵H，使得能够满足这个单应性矩阵的特征点最多。

2、产生异常匹配的特征点可能是因为噪声影响，也可能是输入的图像不合适，图像的差异太大。

3、RANSAC循环迭代
从RANSAC算法的原理来看，RANSAC算法能否找到一个合适的数学模型，其中包含运气成分，因此RANSAC循环需要设定一个迭代次数，使得在这个迭代次数内能够找到一个最合适的数学模型来拟合这些特征点。显然迭代越多得到的数学模型就越合适，但是相应的也会付出运行时间的代价，迭代少得到数学模型显然就越不理想。因此迭代次数需要根据给定数据集的局外点和局内点数量来确定，设局内点的占比为t，则t可以由以下公式得到

通常情况我们无法事先知道 t 的值，但是个可以给定一些鲁棒值，假定每次使用N个点拟合数学模型，选取的N个点中，至少有一个局外点的概率m就是 m = 1-t^N , 那么得到正确的数学模型的概率P就是：

故通过P得到的迭代次数k的公式为：

3、RANSAC算法的步骤

1. 选择4对匹配特征点（选择4对特征点因为单应性矩阵有8个自由度，需要4个特征点，每个特征点都能构造2个方程，然后求解单应性矩阵，但是任意3个点或4个点不能在同一条直线上）
2. 根据直接线性变换解法DLT计算单应性矩阵H
3. 对所匹配点，计算映射误差
4. 根据误差阈值，确定inliers数量
5. 针对最大的inliers集合，重新计算单应性矩阵H

4、使用RANSAC图片匹配

from numpy import *
from matplotlib.pyplot import *
from PIL import Image
import warp
import homography
from PCV.localdescriptors import sift

featname = ['img/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['img/' + str(i + 1) + '.jpg' for i in range(5)]
l = {
     }
d = {
     }
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {
     }
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)

# 将匹配转换成齐次坐标点的函数
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# 估计单应性矩阵
model = homography.RanSacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2
fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1
tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2
tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# 扭曲图像
delta = 100  # 用于填充和平移 for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)
im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)
im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)
im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

原始图片

运行结果

从上面的结果中看出来使用RANSAC图像拼接的效果比较理想，这是因为输入的图片上的景物都在同一深度上，且图片的噪声点比较小。但是如果对于纹理比较复杂、噪声点比较多、物体深度不一的情况，拼接的效果就会不好，例如下面的拼接结果

从上面的结果可以看到在图片拼接的接口处出现了断层，并且对于地板上有纹路的这些地方它的拼接效果并不是十分的理想。最主要的问题是因为在拍摄图像的时候，让图像中的有些物体没有处于同一深度，导致在图像拼接的时候出现了断层，这里猜测不是出现重影是因为，图像在拼接的时候是重叠在另一张图像上的，所以后一张图像会覆盖前一张图像，当拍摄图像较差时，就导致了这种断层，能够明显的看到图像的叠加。图中还可以看出右边变换出现了变形，这是因为图像在拼接的时候，有进行仿射扭曲，目的是为了缩放图像中的物体，使得能够更好的拼接在一起。

另外，在上面拼接的图像中还可以观察出，图像的曝光程度不一样，这也使得每一张图像拼接后，能够清楚的看到图像是叠加在一起的，这个效果并不是我们想看到的。这个可以通过构造高斯金字塔和拉普拉斯金子塔，然后Blending进行解决

在图像拼接的时候，碰到了一个ransac.py的错误，如下，上网查了一下说是拍摄的图像水平落差比较大，需要重新再拍摄一组图像

ValueError: did not meet fit acceptance criteria

局部单应性变换

“鬼影”

1、通过上面RANSAC方法可以消除异常匹配的特征点的问题，但是匹配后得到的图像会出现“鬼影”问题，所谓鬼影问题就是图像叠加后出现重影。

2、产生“鬼影”的原因在于图像映射是全局的单应性变换，然后图像场景中各个物体往往具有不同的深度，如果采用处于不同深度物体的特征点进行全局单应性变换，由于此时图像中的物体无法满足近似于同一平面的条件，计算得到的单应性矩阵会有较大的误差，仅仅由一个全局的单应性变换无法完全描述两幅图像之间的变换关系。

APAP

1、为了解决“鬼影”问题，便有人想到将图像分成很多个规则的小网格，每个小网格分别计算各自的单应性矩阵，也就是局部单应性变换。APAP算法就是局部单应性变换的一个具体实现。

2、APAP在计算每个网格的单应性矩阵的时候，图像中各个特征点对网格局部单应性变换计算的的重要程度差异是通过引入权重矩阵W实现的

3、其中W_i是第 i 个网格权重的对角矩阵。W_i,k是第 i 个网格的中心像素坐标和第k个特征点之间的空间距离定义，λ是一个大于0的常数

寻找拼接图像切割线

为什么找切割线

我们解决了拼接后图像景物的“鬼影”问题后，还并没有达到很完美的拼接图像，因为对于一些比较复杂的背景（如建筑等），它们在拼接的时候，也可能会出现重影。那产生重影的问题是什么？因为图像的重叠导致了重影，那么解决的方式就是不让图片重叠。具体的方式就是在图像重叠的区域中找到一条切割线，使得在切割线的左边用图片A，在切割线的右边用图片B，则就解决了图像拼接后因为重叠而导致的重影问题。

找切割线的准则

显然这条切割线不能够乱找，如果在两张图像差异很大的地方切割开了重叠部分，那么得到的效果显然很好。要找到一条好的切割线，就要在线的左右两边图像的像素差异比较小，这样切割出来的效果，就没有强烈的违和感。像下面这张图片，找出的切割线左右两边的像素差异比较小，所以得到的拼接图像效果比较好。

最大流最小割

找到这么一条切割线运用的是一个最大流的方法。下面的这个图结构，可以把它理解为图像的重叠部分，具体步骤就是：不断的找从S到E的一条路径，每找到一条路径，就让该路径上的所有边的权重减去这条路径上权重值最小边的权重，同时在这条路径上构造一个方向的有向边，权重值设置为减去的值，另外如果减完后权重为0，则删除这条边。算法一直循环知道无法找到S到E的路径借结束，最后切割那些为空或是流已满的边