(四)OpenCV中的特征检测之特征匹配+Homography查找对象

注释：本文翻译自OpenCV3.0.0 document->OpenCV-Python Tutorials，包括对原文档种错误代码的纠正

1.概述

现在我们知道特征匹配，让我们把它和calib3d模块混合起来，找到复杂图像中的对象

2.目标

在这一章中，我们将混合来自calib3d模块的特征匹配和findHomography，以在复杂图像中查找一直对象。

3.基础

那么我们在上一章节做了什么？我们使用一个queryImage，在其中找到了一些特征点，我们又拍了一个trainImage，在那张图片中找到了特征，我们找到了它们中最好的匹配。简而言之，我们在另一个混乱的图像中发现了一个物体某些部分的位置。该信息足以在trainImage上准确找到对象。

为此，我们可以使用calib3d模块中的一个函数，即cv2.findHomography()。如果我们通过这两个图像中的一组点，它将找到该对象中的每个变换。然后我们可以使用cv2.perspectiveTransform()来查找对象。它需要至少四个正确的点来找到转换。

我们已经看到，匹配时可能会出现一些可能的错误，这可能会影响结果。为了解决这个问题，算法使用RANSAC或LEAST_MEDIAN(可以由标志决定)。所以提供正确估计的好匹配被称为内点，其余称为离群点。cv2.findHomography()返回一个指定内点和外点的掩码。

let do it！

4.代码

首先，像往常一样，在图像中找到SIFT特征，并应用比率测试来查找最佳匹配。

# -*- coding: utf-8 -*-
'''
特征匹配和Homography查找对象：
1.将特征匹配和calib3d模块混合起来，找到复杂图像中的对象。
2.将来自calib3d模块的特征匹配和findHomography
3.可以使用cv2.findHomography()。如果找到这两个图像中的一组点，它将找到该对象的每个变换。
4.然后使用cv2.perspectTransform()来查找对象。它至少需要四个正确的点来找到转换。
5.匹配的时候可能会有一丢丢错误。
栗子：
'''
import cv2
import numpy as np
from matplotlib import pyplot as plt

MIN_MATCH_COUNT = 10

img1 = cv2.imread('box.png', 0)  # 查询图片
img2 = cv2.imread('box_in_scene.png', 0)  # 训练图片

# 初始化SIFT探测器
sift = cv2.xfeatures2d.SIFT_create()

# 用SIFT找到关键点和描述符
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)

flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des1, des2, k=2)

good = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good.append(m)

'''
现在我们设置一个条件，即至少10个匹配（由MIN_MATCH_COUNT定义）将在那里以找到该对象。
 否则，只需显示一条消息，说明没有足够的匹配。
如果找到足够的匹配，我们将提取两个图像中匹配关键点的位置。
他们通过寻找这种转变。 一旦我们得到这个3x3转换矩阵，
我们就用它来将queryImage的角点转换成trainImage中相应的点。 然后我们绘制它。

'''
if len(good) > MIN_MATCH_COUNT:
    src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
    dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)

    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
    matchesMask = mask.ravel().tolist()

    h, w = img1.shape
    pts = np.float32([[0, 0], [0, h - 1], [w - 1, h - 1], [w - 1, 0]]).reshape(-1, 1, 2)
    dst = cv2.perspectiveTransform(pts, M)

    img2 = cv2.polylines(img2, [np.int32(dst)], True, 255, 3, cv2.LINE_AA)

else:
    print("Not enough matches are found", (len(good), MIN_MATCH_COUNT))
    matchesMask = None

# 最后绘制内点(如果成功找到对象)或匹配关键点(如果失败)

draw_params = dict(matchColor=(0, 255, 0),
                   singlePointColor=None,
                   matchesMask=matchesMask,
                   flags=2)

img3 = cv2.drawMatches(img1, kp1, img2, kp2, good, None, **draw_params)

plt.imshow(img3, 'gray'), plt.show()

结果：