计算机视觉-全景图像拼接

目录

1.全景拼接

2.RANSAC算法

3.图像配准 

4.图割方法

5.图像融合

6.APAP算法

7.代码实现


1.全景拼接

将SIFT应用到图像拼接上,根据特征点匹配的方式,则利用这些匹配的点来估算单应矩阵使用RANSAC算法,也就是把其中一张通过个关联性和另一张匹配的方法。通过单应矩阵H,可以将原图像中任意像素点坐标转换为新坐标点,转换后的图像即为适合拼接的结果图像。
可以简单分为以下几步:

  1. 根据给定图像/集,实现特征匹配。
  2. 通过匹配特征计算图像之间的变换结构。
  3. 利用图像变换结构,实现图像映射。
  4. 针对叠加后的图像,采用APAP之类的算法,对齐特征点。(图像配准)
  5. 通过图割方法,自动选取拼接缝。
  6. 根据multi-band blending策略实现融合。

2.RANSAC算法

RANSAC[1] (随机抽样一致)是一种迭代算法,该算法从一组包含“外点(outlier)”的观测数据中估计数学模型的参数。“外点”指观测数据中的无效数据,通常为噪声或错误数据,比如图像匹配中的误匹配点和曲线拟合中的离群点。与“外点”相对应的是“内点(inlier)”,即用来估计模型参数的有效数据。因此,RANSAC也是一种“外点”检测算法。此外,RANSAC算法是一种非确定算法,它只能在一定概率下产生可信的结果,当迭代次数增加时,准确的概率也会增加。

RANSAC算法是用来找到正确模型来拟合带有噪声数据的迭代方法。
基本思想:数据中包含正确的点和噪声点,合理的模型应该能够在描述正确数据点的同时摈弃噪声点。

RANSAC的基本思想和算法流程如下:

  • 随机采样K个点,K是求解模型参数的最少点个数;
  • 使用K个点估计模型参数;
  • 计算剩余点到估计模型的距离,距离小于阈值则为内点,统计内点的数目;
  • 重复步骤1~3,重复次数M且保留数目最多的内点;
  • 使用所有的内点重新估计模型。
     

举例:RANSAC拟合直线

1.随机选取K=2个点

计算机视觉-全景图像拼接_第1张图片

2.拟合直线

计算机视觉-全景图像拼接_第2张图片

3.统计内点个数

计算机视觉-全景图像拼接_第3张图片

4.重复步骤1-3,重复次数M且保留数目最多的内点

5.使用所有的内点重新拟合直线

计算机视觉-全景图像拼接_第4张图片

3.图像配准 

图像配准是对图像进行变换,使变换后的图像能够在常见的坐标系中对齐。为了能够进行图像对比和更精细的图像分析,图像配准是一步非常重要的操作。

图像配准的方法有很多,这里以APAP算法为例:

  1. 提取两张图片的sift特征点
  2. 对两张图片的特征点进行匹配
  3. 匹配后,仍有很多错误点,此时用RANSAC进行特征点对的筛选。筛选后的特征点基本能够一一对应。
  4. 使用DLT算法,将剩下的特征点对进行透视变换矩阵的估计。
  5. 因为得到的透视变换矩阵是基于全局特征点对进行的,即一个刚性的单应性矩阵完成配准。为提高配准的精度,Apap将图像切割成无数多个小方块,对每个小方块的变换矩阵逐一估计。
     

4.图割方法

最大流最小割算法原理,
1.最小割问题
一个有向图,并有一个源顶点(source vertex)和目标顶点(target vertex).边的权值为正,又称之为容量(capacity)。如下图

计算机视觉-全景图像拼接_第5张图片

 一个st-cut(简称割cut)会把有向图的顶点分成两个不相交的集合,其中s在一个集合中,t在另外一个集合中。
这个割的容量(capacity of the cut)就是A到B所有边的容量和。注意这里不包含B到A的。最小割问题就是要找到割容量最小的情况。
2.最大流问题
跟mincut问题类似,maxflow要处理的情况也是一个有向图,并有一个原顶点(source vertex)和目标(target vertex),边的权值为正,又称之为容量(capacity)。
(1)初始化,所有边的flow都初始化为0。
(2)沿着增广路径增加flow。增广路径是一条从s到t的无向路径,但也有些条件,可以经过没有满容量的前向路径(s到t)或者是不为空的反向路径(t->s)。
 

5.图像融合

图像拼接之后可以发现,在拼接的交界处有明显的衔接痕迹,存在边缘效应,因为光照色泽的原因使得图片交界处的过渡很糟糕,所以需要特定的处理解决这种不自然。那么这时候可以采用blending方法。multi-band blending是目前图像融和方面比较好的方法。
原理:
1.建立两幅图像的拉普拉斯金字塔
2.求高斯金字塔(掩模金字塔-为了拼接左右两幅图像)因为其具有尺度不变性
3. 进行拼接blendLapPyrs() ; 在每一层上将左右laplacian图像直接拼起来得结果金字塔resultLapPyr
4.重建图像: 从最高层结果图
将左右laplacian图像拼成的resultLapPyr金字塔中每一层,从上到下插值放大并和下一层相加,即得blend图像结果(reconstructImgFromLapPyramid)
且我们可以将拉普拉斯金字塔理解为高斯金字塔的逆形式。


6.APAP算法

在图像拼接融合的过程中,受客观因素的影响,拼接融合后的图像可能会存在“鬼影现象”以及图像间过度不连续等问题。下图就是图像拼接的一种“鬼影现象”。
解决鬼影现象可以采用APAP算法。

算法流程:

  1. SIFT得到两幅图像的匹配点对
  2. 通过RANSAC剔除外点,得到N对内点
  3. 利用DLT和SVD计算全局单应性
  4. 将源图划分网格,取网格中心点,计算每个中心点和源图上内点之间的欧式距离和权重
  5. 将权重放到DLT算法的A矩阵中,构建成新的W*A矩阵,重新SVD分解,自然就得到了当前网格的局部单应性矩阵
  6. 遍历每个网格,利用局部单应性矩阵映射到全景画布上,就得到了APAP变换后的源图
  7. 最后就是进行拼接线的加权融合

计算机视觉-全景图像拼接_第6张图片

计算机视觉-全景图像拼接_第7张图片

APAP虽然能够较好地完成配准,但非常依赖于特征点对。若图像高频信息较少,特征点对过少,配准将完全失效,并且对大尺度的图像进行配准,其效果也不是很好,一切都决定于特征点对的数量 

7.代码实现

# -*- codeing =utf-8 -*-
# @Time : 2021/4/20 11:00
# @Author : ArLin
# @File : demo1.py
# @Software: PyCharm
from pylab import *
from numpy import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift
np.seterr(invalid='ignore')
"""
This is the panorama example from section 3.3.
"""

# 设置数据文件夹的路径
featname = ['D:\python\拼接图象实验\image\\' + str(i + 1) + '.sift' for i in range(5)]
imname = ['D:\python\拼接图象实验\image\\' + str(i + 1) + '.jpg' for i in range(5)]

# 提取特征并匹配使用sift算法
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# 可视化匹配
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)


# 将匹配转换成齐次坐标点的函数
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# 估计单应性矩阵
model = homography.RansacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2

fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1

tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2

tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# 扭曲图像
delta = 2000  # for padding and translation用于填充和平移

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

你可能感兴趣的:(计算机视觉)