[OpenCV]基于SIFT和特征匹配的图像拼接Python

完整源码：

[OpenCV]基于SIFT和特征匹配的图像拼接Python (mianbaoduo.com)

1.背景

随着汽车电子和人工智能的快速发展，智能连接汽车也迎来了全面发展的黄金时代[1-5]。中央ADAS利用安装在车辆上的传感器、激光雷达和毫米波雷达实时检测车辆周围环境，补充障碍物检测和全景生成等功能，为驾驶员提供实时警报，提高行车安全性。在目前众多互联网公司参与的同时，传统汽车行业投入了相当大的资金用于辅助驾驶系统的研发[6]。
除了技术创新和业务投资外，日益增长的安全驾驶需求有助于辅助作业的快速发展[7,8]。据公安部门公布的数据显示，2018年我国汽车保有量已达2.5亿辆，并继续快速增长[9,10]。这类车辆的数量导致道路交通、污染和道路交通事故的增加。其中，交通事故频发、伤势严重是最严重的问题。主观原因是造成事故的主要原因是驾驶员在驾驶过程中存在视觉致命角度，难以恰当地确定车身周围的环境信息[11-15]。近年来，图像相关的驾驶辅助装置、雷达等设备被广泛应用于汽车安全系统中，以降低交通事故率。
辅助系统利用两个摄像机实时采集车辆周围的图像信息，利用图像拼接技术合成全景图像。本系统极大地消除了驾驶员的视觉死角，保证了行车安全。其中，图像贴片技术是系统的中心，是计算机视觉、图形成像、数字优化等交叉学科研究的对象[16]。近年来，在CVPR、ECCV和计算机图形学专业组等高级别会议上取得了许多成果。这种技术不仅对驱动支撑大有裨益，而且在科学研究中具有学术价值。本文重点研究SIFT拼接算法。对算法进行了优化和改进，提高了整体效率和实用性。

2.研究意义

图片的全景拼接如今已不再稀奇，现在的智能摄像机和手机摄像头基本都带有图片自动全景拼接的功能，但是一般都会要求拍摄者保持设备的平稳以及单方向的移动取景以实现较好的拼接结果。这是因为拼接的图片之间必须要有相似的区域以保证拼接结果的准确性和完整性。本文主要简单描述如何用 Python 和 OpenCV 库实现两张图片的自动拼合。

3 研究内容

3.1 SIFT

SIFT特征是基于一些与图像大小和旋转无关的局部外观点。对光、噪声和微角度变化的容忍度也相当高。由于这些性质，它们非常有意义，并且相对容易访问。在大型父特征数据库中，对象易于识别，误解较少。采用SIFT对象描述的部分对象遮挡检测率也相当高。甚至三个以上的视觉对象特征都足以计算位置和方位。在当前计算机硬件速度和特征数据库较小的情况下，检测速度可以接近实时操作。SIFT特征具有大量的信息，适合在海量数据库中快速、准确地映射。

3.2 特征匹配

特征匹配是计算机视觉中许多应用的基础，如图像匹配、摄像机跟踪、三维重建、物体识别，以及人脸识别等，因此，对这一概念的深入理解还不是太多的时间。本文希望以通俗易懂的方式来阐述特征匹配的过程以及在此过程中出现的一些问题。

3.3 Opencv

计算机视觉市场巨大且不断增长，在这方面没有标准的API。今天的计算机视觉软件大约有三种：

1 .研究代码( 缓慢、不稳定、独立和与其他图书馆不兼容 )。

2 .昂贵的商业工具( 像 Halcon , matlab + Simulink )

3 .一些具体的基于硬件的解决方案( 如视频监控、制造控制、医疗设备等 )是目前的现状，标准的API将简化计算机视觉程序和解决方案的开发。Opencv被确定成为这样一个标准的API。

Opencv致力于实时应用。它的执行速度通过优化的C代码编写得到了明显的提高，通过购买Intel的IPP高性能多媒体库可以实现更快的处理速度。下图显示了OpenCV与其他主流视觉函数库的性能比较。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

if __name__ == '__main__':
    top, bot, left, right = 100, 100, 0, 500
    img1 = cv.imread('./1.bmp')
    img2 = cv.imread('./2.png')
    srcImg = cv.copyMakeBorder(img1, top, bot, left, right, cv.BORDER_CONSTANT, value=(0, 0, 0))
    testImg = cv.copyMakeBorder(img2, top, bot, left, right, cv.BORDER_CONSTANT, value=(0, 0, 0))
    img1gray = cv.cvtColor(srcImg, cv.COLOR_BGR2GRAY)
    img2gray = cv.cvtColor(testImg, cv.COLOR_BGR2GRAY)
    sift = cv.xfeatures2d_SIFT().create()
    # find the keypoints and descriptors with SIFT
    kp1, des1 = sift.detectAndCompute(img1gray, None)
    kp2, des2 = sift.detectAndCompute(img2gray, None)
    # FLANN parameters
    FLANN_INDEX_KDTREE = 1
    index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
    search_params = dict(checks=50)
    flann = cv.FlannBasedMatcher(index_params, search_params)
    matches = flann.knnMatch(des1, des2, k=2)

    # Need to draw only good matches, so create a mask
    matchesMask = [[0, 0] for i in range(len(matches))]

    good = []
    pts1 = []
    pts2 = []
    # ratio test as per Lowe's paper
    for i, (m, n) in enumerate(matches):
        if m.distance < 0.7*n.distance:
            good.append(m)
            pts2.append(kp2[m.trainIdx].pt)
            pts1.append(kp1[m.queryIdx].pt)
            matchesMask[i] = [1, 0]

    draw_params = dict(matchColor=(0, 255, 0),
                       singlePointColor=(255, 0, 0),
                       matchesMask=matchesMask,
                       flags=0)
    img3 = cv.drawMatchesKnn(img1gray, kp1, img2gray, kp2, matches, None, **draw_params)
    plt.imshow(img3, ), plt.show()

    rows, cols = srcImg.shape[:2]
    MIN_MATCH_COUNT = 10
    if len(good) > MIN_MATCH_COUNT:
        src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
        dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)
        M, mask = cv.findHomography(src_pts, dst_pts, cv.RANSAC, 5.0)
        warpImg = cv.warpPerspective(testImg, np.array(M), (testImg.shape[1], testImg.shape[0]), flags=cv.WARP_INVERSE_MAP)

        for col in range(0, cols):
            if srcImg[:, col].any() and warpImg[:, col].any():
                left = col
                break
        for col in range(cols-1, 0, -1):
            if srcImg[:, col].any() and warpImg[:, col].any():
                right = col
                break

        res = np.zeros([rows, cols, 3], np.uint8)
        for row in range(0, rows):
            for col in range(0, cols):
                if not srcImg[row, col].any():
                    res[row, col] = warpImg[row, col]
                elif not warpImg[row, col].any():
                    res[row, col] = srcImg[row, col]
                else:
                    srcImgLen = float(abs(col - left))
                    testImgLen = float(abs(col - right))
                    alpha = srcImgLen / (srcImgLen + testImgLen)
                    res[row, col] = np.clip(srcImg[row, col] * (1-alpha) + warpImg[row, col] * alpha, 0, 255)

        # opencv is bgr, matplotlib is rgb
        res = cv.cvtColor(res, cv.COLOR_BGR2RGB)
        # show the result
        plt.figure()
        plt.imshow(res)
        plt.show()
    else:
        print("Not enough matches are found - {}/{}".format(len(good), MIN_MATCH_COUNT))
        matchesMask = None