OpenCV39:特征匹配+单应性矩阵查找对象

目标

在本章中，将学习

• 将从Calib3D模块中混淆特征匹配和找到（单应性矩阵）homography，以查找复杂图像中的已知对象。

基础

在之前的内容中，使用了一个query image，在其中找到了一些特征点，拍摄了另一张train image，也在该图像中找到了特征，找到了其中最好的匹配。简而言之，在另一张杂乱的图像中找到了物体某些部分的位置。该信息足以准确地在train image上找到对象。

为此，可以使用calib3d模块的函数，即cv2.findHomography()。如果从图像中传递一组点，它将找到该对象的透视变换。然后可以使用cv2.perspectiveTransform()以查找对象。至少需要四个正确的点才能找到转换。

之前的内容中可以看到，匹配的时候可能存在一些可能的错误，这可能会影响结果。为了解决这个问题，算法使用RANSAC或LEAST_MEDIAN（可以由标志决定）。如此良好的匹配，提供正确估计称为inliers，并且剩余的称为异常值。cv2.findhomography()返回一个掩码，指定Inlier和异常值

实现

首先，像往常一样，在图像中查找SIFT特征，并应用比率测试来找到最佳匹配。

现在设置了一个至少10的匹配（由min_match_count定义）的条件是在那里找到对象。否则简单地显示一条消息，表明不够匹配。

**如果找到有足够的匹配，将在两个图像中提取匹配项点的位置。**通过以找到相似的转变。一旦获得此3x3转换矩阵，将使用它将QueryImage的角转换为TrainImage中的对应点，然后画出来。

import cv2
import numpy as np
from matplotlib import pyplot as plt

MIN_MATCH_COUNT = 10

img1 = cv2.imread('box2.png', 0)  # query image
img2 = cv2.imread('box_in_scene.png', 0)  # train image

# Initial SIFT detector
sift = cv2.xfeatures2d.SIFT_create()

# find the keypoints and descriptiors with SIFT
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)

FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)

flann = cv2.FlannBasedMatcher(index_params, search_params)

matches = flann.knnMatch(des1, des2, k=2)

# store all the good matches as per lows ratio test
good = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good.append(m)
        
if len(good) > MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
    
    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
    matchesMask = mask.ravel().tolist()
    
    h, w = img1.shape
    pts = np.float32([[0, 0], [0, h-1], [w-1, h-1], [w-1, 0]]).reshape(-1, 1, 2)
    dst = cv2.perspectiveTransform(pts, M)
    
    img2 = cv2.polylines(img2, [np.int32(dst)], True, 255, 3, cv2.LINE_AA)
else:
    print("Not enough matches are found - {} / {}".format(len(good), MIN_MATCH_COUNT))
    matchesMask = None

draw_params = dict(
    matchColor=(0, 255, 0),
    singlePointColor=None,
    matchesMask=matchesMask,
    flags=2)

img3 = cv2.drawMatches(img1, kp1, img2, kp2, good, None, **draw_params)
plt.imshow(img3, 'gray')
plt.show()

结果如下。在杂乱图像中用白色颜色标记匹配的物体

附加资源

• https://docs.opencv.org/4.1.2/d9/d0c/group__calib3d.html#ga4abc2ece9fab9398f2e560d53c8c9780
• https://docs.opencv.org/4.1.2/d1/de0/tutorial_py_feature_homography.html
• https://blog.csdn.net/liubing8609/article/details/85340015
• https://docs.opencv.org/4.1.2/d2/de8/group__core__array.html#gad327659ac03e5fd6894b90025e6900a7
• cv2.findHomography()