【OpenCV学习】(十)特征点检测与匹配

【OpenCV学习】(十)特征点检测与匹配

背景

提取图像的特征点是图像领域中的关键任务,不管在传统还是在深度学习的领域中,特征代表着图像的信息,对于分类、检测任务都是至关重要的;

特征点应用的一些场景:

  • 图像搜索:以图搜图(电商、教育领域)
  • 图像拼接:全景拍摄(关联图像拼接)
  • 拼图游戏:游戏领域

一、Harris角点

哈里斯角点检测主要有以下三种情况:

【OpenCV学习】(十)特征点检测与匹配_第1张图片

  • 光滑区域:无论向哪个方向移动,衡量系数不变;
  • 边缘区域:垂直边缘移动时,衡量系数变化强烈;
  • 角点区域:不管往哪个方向移动,衡量系数变化强烈;

函数原型:

cornerHarris(img,blockSize,ksize,k)

  • blockSize:检测窗口大小;
  • k:权重系数,一般取0.02~0.04之间;

代码案例:

img = cv2.imread('chess.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

dst = cv2.cornerHarris(gray, 2, 3, 0.04)

img[dst > 0.01*dst.max()] = (0, 0, 255)

cv2.imshow('harris', img)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第2张图片

二、Shi-Tomasi角点检测

说明:是Harris角点检测的改进,在Harris中需要知道k这个经验值,而在Shi-Tomasi不需要;

函数原型:

goodFeaturesToTrack(img,…)

  • maxCorners:角点的最大数量,值为0表示所有;

  • qualityLevel:角点的质量,一般在0.01~0.1之间(低于的过滤掉);

  • minDistance:角点之间最小欧式距离,忽略小于此距离的点;

  • mask:感兴趣区域;

  • useHarrisDetector:是否使用Harris算法(默认为false)

代码案例:

img = cv2.imread('chess.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

dst = cv2.goodFeaturesToTrack(gray, 1000, 0.01, 10)
dst = np.int0(dst)            # 实际上也是np.int64
for i in dst:
    x, y = i.ravel()         # 数组降维成一维数组(inplace的方式)
    cv2.circle(img, (x, y), 3, (0, 0, 255), -1)

cv2.imshow('harris', img)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第3张图片

本质上和Harris角点检测相同,效果会好一些,角点数量会多一些;

三、SIFT关键点

中文简译:与缩放无关的特征转换;

说明:Harris角点检测具有旋转不变性,也就是旋转图像并不会影响检测效果;但其并不具备缩放不变性,缩放大小会影响角点检测的效果;SIFT具备缩放不变性的性质;

实现步骤:

创建SIFT对象 —— 进行检测(sift.detect) —— 绘制关键点(drawKeypoints)

代码案例:

img = cv2.imread('chess.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

sift = cv2.xfeatures2d.SIFT_create()
kp = sift.detect(gray, None)      # 第二个参数为mask区域
cv2.drawKeypoints(gray, kp, img)

cv2.imshow('sift', img)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第4张图片

四、SIFT描述子

首先需要说明,关键点和描述子是两个概念;

关键点:位置、大小和方向;

关键点描述子:记录了关键点周围对其有贡献的像素点的一组向量值,其不受仿射变换,光照变换等影响;描述子的作用就是用于特征匹配;

同时计算关键点和描述子的函数(主要使用):

detectAndCompute(img,…)

代码案例:

img = cv2.imread('chess.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

sift = cv2.xfeatures2d.SIFT_create()
kp, dst = sift.detectAndCompute(gray, None)      # 第二个参数为mask区域

得到的dst即为描述子的信息;

五、SURF

中译:加速的鲁棒性特征检测;

说明:SIFT最大的缺点是速度慢,因此才会有SURF(速度快);

实现步骤与SIFT一致,代码如下:

surf = cv2.xfeatures2d.SURF_create()
kp, dst = surf.detectAndCompute(gray, None)      # 第二个参数为mask区域
cv2.drawKeypoints(gray, kp, img)

由于安装的opencv-contrib版本过高(有版权问题),已经不支持该功能了,在此就不作展示了;

六、ORB

说明:最大的优势就是做到实时检测,缺点就是缺失了很多信息(准确性下降);

主要是两个技术的结合:FAST(特征点实时检测)+ BRIEE(快速描述子建立,降低特征匹配时间)

使用步骤与之前的SIFT一致,代码如下:

img = cv2.imread('chess.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

orb = cv2.ORB_create()
kp, dst = orb.detectAndCompute(gray, None)      # 第二个参数为mask区域
cv2.drawKeypoints(gray, kp, img)

cv2.imshow('orb', img)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第5张图片

可以看出,相比于SIFT以及SURF关键点变少了,但是其速度有了很大提升;

七、暴力特征匹配(BF)

匹配原理:类似于穷举匹配机制,使用第一组中每个特征的描述子与第二组中的进行匹配,计算相似度,返回最接近的匹配项;

实现步骤:

  • 创建匹配器:BFMatcher(normType,crossCheck)
  • 进行特征匹配:bf.match(des1,des2)
  • 绘制匹配点:cv2.drawMatches(img1,kp1,img2,kp2)

代码案例:

img1 = cv2.imread('opencv_search.png')
img2 = cv2.imread('opencv_orig.png')
g1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

sift = cv2.SIFT_create()
kp1, dst1 = sift.detectAndCompute(g1, None)      # 第二个参数为mask区域
kp2, dst2 = sift.detectAndCompute(g2, None)      # 第二个参数为mask区域

bf = cv2.BFMatcher_create(cv2.NORM_L1)
match = bf.match(dst1, dst2)
img3 = cv2.drawMatches(img1, kp1, img2, kp2, match, None)

cv2.imshow('result', img3)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第6张图片

从上图可看出,匹配的效果还是不错的,只有一个特征点匹配错误;

八、FLANN特征匹配

优点:在进行批量特征匹配时,FLANN速度更快;

缺点:由于使用的时邻近近似值,所有精度较差;

实现步骤与暴力匹配法一致,代码如下:

img1 = cv2.imread('opencv_search.png')
img2 = cv2.imread('opencv_orig.png')
g1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

sift = cv2.SIFT_create()
kp1, dst1 = sift.detectAndCompute(g1, None)      # 第二个参数为mask区域
kp2, dst2 = sift.detectAndCompute(g2, None)      # 第二个参数为mask区域

index_params = dict(algorithm = 1, trees = 5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params, search_params)
matchs = flann.knnMatch(dst1, dst2, k=2)

good = []
for i, (m, n) in enumerate(matchs):
    if m.distance < 0.7 * n.distance:
        good.append(m)
img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, [good], None)

cv2.imshow('result', img3)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第7张图片

上图可以看出,匹配的特征点数量相比暴力匹配明显变少了,但速度会快很多;

九、图像查找

实现原理:特征匹配 + 单应性矩阵;

单应性矩阵原理介绍:

【OpenCV学习】(十)特征点检测与匹配_第8张图片

上图中表示从两个不同角度对原图的拍摄,其中H为单应性矩阵,可通过该矩阵将图像进行转换;

下面使用两个函数实现图像查找的功能:

findHomography():获得单应性矩阵;

perspectivveTransform():仿射变换函数;

代码实现如下图:

img1 = cv2.imread('opencv_search.png')
img2 = cv2.imread('opencv_orig.png')
g1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

sift = cv2.SIFT_create()
kp1, dst1 = sift.detectAndCompute(g1, None)      # 第二个参数为mask区域
kp2, dst2 = sift.detectAndCompute(g2, None)      # 第二个参数为mask区域

index_params = dict(algorithm = 1, trees = 5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params, search_params)
matchs = flann.knnMatch(dst1, dst2, k=2)

good = []
for i, (m, n) in enumerate(matchs):
    if m.distance < 0.7 * n.distance:
        good.append(m)
if len(good) >= 4:
	# 获得源和目标点的数组
    srcPts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
    dstPts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)
    
    # 获得单应性矩阵H
    H, _ = cv2.findHomography(srcPts, dstPts, cv2.RANSAC, 5.0)
    h, w = img1.shape[:2]
    pts = np.float32([[0,0], [0, h-1], [w-1, h-1], [w-1, 0]]).reshape(-1, 1, 2)
    # 进行放射变换
    dst = cv2.perspectiveTransform(pts, H)
    
    # 绘制查找到的区域
    cv2.polylines(img2, [np.int32(dst)], True, (0,0,255))
else:
    print('good must more then 4.')
    exit()
    
img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, [good], None)

cv2.imshow('result', img3)
cv2.waitKey(0)

【OpenCV学习】(十)特征点检测与匹配_第9张图片

总结

本篇主要介绍了特征点检测和匹配,其中重要的部分时SIFT算法以及FLANN算法;通过所学的知识,可以简单实现一个图像查找的功能,也就是找子图的功能。甚至可以目标识别的效果;当然这里需要的是完全一致的,不同于深度学习中的目标识别任务;下一篇将基于本次的内容做一个图像拼接的项目,欢迎关注!

你可能感兴趣的:(OpenCV,opencv,计算机视觉,图像处理,python,sift算法)