23. Opencv——图像拼接项目

特征检测的基本概念

应用场景:

1.图像搜索,如以图搜图,提取图片中的主要特征点进行搜索

2.拼图游戏

3.图像拼接,将两张有关联的图拼接到一起

23. Opencv——图像拼接项目_第1张图片

拼图方法:

1.寻找特征

2.特征点唯一,可追踪,能比较

3.平坦部分很难找到它在原图中的位置

4.边缘相比平坦要好找一些,但也不能一下确定具体位置

5.角点可以一下就能找到其在原图的位置

什么是特征?

图像特征就是指有意义的图像区域,具有独特性、易于识别性,比如角点,斑点以及高密度区

角点

在特征中最重要的是角点

灰度梯度的最大值对应的像素、两条线的交点、极值点(一阶导数最大值,但二阶导数为0)

Harris角点(常用的方法)

23. Opencv——图像拼接项目_第2张图片

第一种情况:对于这个窗口来说,它可以朝任何方向进行移动,如果在这个窗口范围内它向任何一块方向移动之后,窗口内的像素没有任何的变化,说明这是一个平坦的图片,也就是说在这张图片中没有角点。

第二种情况:如果这个检测窗口在一条边沿上移动,虽然这个边缘与周围的像素不同,但是由于它上下移动,所以其中心点像素不会发生改变,线上及左右两边也不会发生改变,当检测窗口左右移动时像素有变化,则为一条边缘。

第三种情况:检测窗口在一个焦点上

  • 光滑地区:无论向哪里移动,衡量系数不变
  • 边缘处:垂直边缘移动时,衡量系数变化剧烈
  • 在交叉点处,无论往那个方向移动,衡量系数都变化剧烈

Harris角点检测API

注:角点检测应为一张灰度图

cornerHarris(img, dst, blockSize, ksize, k)

dst        输出结果(检测到焦点时,输出矩阵)

blockSize        检测窗口的大小,设置的窗口越大,敏感度越高

ksize        Sobel(索贝尔)的卷积核,朝着横向或者纵向进行卷积,卷积核一般设置为3

k        权重系数,经验值,一般取0.02~0.04之间

import cv2
from matplotlib.pyplot import gray
import numpy as np

blockSize = 2
ksize = 3
k = 0.04

img = cv2.imread("E:\\chess.png")

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Harris角点检测
dst = cv2.cornerHarris(gray, blockSize, ksize, k)

# 角点展示,取dst中的最大值进行判断,大于阈值的全被显示出来
img[dst > 0.01*dst.max()] = [0,0,255]   # 红色显示

cv2.imshow('harris',img)
cv2.waitKey(0)

23. Opencv——图像拼接项目_第3张图片

shi—Tomasi角点检测

shi—Tomasi是Harris角点检测的改进。Harris角点检测算的稳定性和K有关,而K是个经验值,不好设定最佳值。

23. Opencv——图像拼接项目_第4张图片

23. Opencv——图像拼接项目_第5张图片

默认采用false不使用Harris角点检测,若使用Harris角点检测(true),则需要设置K,默认为0.04

在实际使用中,填写前4个参数即可

import cv2
from cv2 import cornerSubPix
from matplotlib.pyplot import gray
import numpy as np

# tomasi
maxCorners = 1000
qualityLevel = 0.01
minDistance = 10  # 距离越大,检测的角数越少

img = cv2.imread("E:\\chess.png")

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

corners = cv2.goodFeaturesToTrack(gray, maxCorners, qualityLevel, minDistance)
corners = np.int0(corners)  # 将浮点型转换为整型

# shi_Tomasi 绘制角点
for i in corners:
    x,y = i.ravel()  #转换为一维数组
    cv2.circle(img, (x,y), 3, (0,0,255),-1)

cv2.imshow('shi_Tomasi',img)
cv2.waitKey(0)

23. Opencv——图像拼接项目_第6张图片    shi—Tomasi角点检测是更常用的角点检测方法

SIFT关键点检测

Scale-Invariant Feature Transform(SIFI)  与缩放无关的角点检测,也是OPENCV中获取角点的一个重要方法。

sift出现的原因:

Harris角点具有旋转不变的特性,但缩放后,原来的角点有可能就不是角点了

sift优点:原来检测的为角,放大后检测的还是一个角

23. Opencv——图像拼接项目_第7张图片harris检测:原来检测的为角,但是放大后,检测的就变为了边缘,不是一个角。

使用SIFT的步骤

  1. 创建SIFT对象
  2. 进行检测,获取关键点  kp = sift.detect(img, ...)
  3. 绘制关键点, drawKeypoints(gray, kp, img)
import cv2
from cv2 import cornerSubPix
from matplotlib.pyplot import gray
import numpy as np

img = cv2.imread("E:\\chess.png")

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 创建sift对象
sift = cv2.SIFT_create()
kp = sift.detect(gray, None) # 第二个参数为mask区域

# 绘制角点,第三个参数为在那张图上进行绘制
cv2.drawKeypoints(gray, kp, img)

cv2.imshow('img',img)
cv2.waitKey(0)

SIFI算法的报错处理

将    sift = cv2.xfeatures2d.SIFT_create() 

改为    sift = cv2.SIFT_create()    即可

23. Opencv——图像拼接项目_第8张图片

SIFT计算描述子

关键点和描述子

  • 关键点:位置,大小和方向
  • 关键点描述子:记录了关键点周围对其有贡献的像素点的一组向量值,其不受仿射变换、光照变换等影响

计算描述子

kp, des = sift.compute(img, kp)        其作用是进行特征匹配

23. Opencv——图像拼接项目_第9张图片 在实际使用中,常用该API进行计算

kp, des = sift.detectAndCompute(gray, None)
print(des)   #打印描述子

 描述子主要用在特征匹配上

SURF特征检测

Speeded-Up Robust Features(SURF)  :加速的鲁棒性特征检测

SIFT最大的优点:进行检测时,特征点检测的特别准确,描述子也描述的非常详细

SURF的优点:SIFT最大的问题是速度慢,因此才有SURF,进行一系列图片检测时,处理速度非常慢,SURF保留了SIFT的优点

使用SURF的步骤

23. Opencv——图像拼接项目_第10张图片

import cv2
import numpy as np

img = cv2.imread("E:\\chess.png")

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 创建surf对象
surf = cv2.xfeatures2d.SURF_create()    #surf检测

# 使用surf进行检测
kp, des = surf.detectAndCompute(gray, None)
# print(des)   #打印描述子

# 绘制角点,第三个参数为在那张图上进行绘制
cv2.drawKeypoints(gray, kp, img)

cv2.imshow('img',img)
cv2.waitKey(0)

23. Opencv——图像拼接项目_第11张图片

解决SIFT和SURF由于专利原因报错的方法

  1. 卸载高版本的python,安装python3.6
  2. 复制以下两条命令到控制端进行安装:
  3. pip install opencv-python==3.4.2.16
    pip install opencv-contrib-python==3.4.2.16

经过以上步骤,即可解决程序报错问题

ORB特征检测

Oriented FAST and Rotated BRIEF   特征点检测与描述子计算的结合

23. Opencv——图像拼接项目_第12张图片

需要抛弃部分数据,才能提升速度,检测准确度有所下降,当检测大量数据时采用该方法。

注:ORB没有版权问题,是开源的

FAST        可以做到特征点的实时检测,不带方向

BRIEF        其是对已检测到的特征点进行描述,它加快了特征描述符建立的速度,同时也极大的降低了特征匹配的时间

23. Opencv——图像拼接项目_第13张图片

# 创建orb对象
orb = cv2.ORB_create()
kp, des = orb.detectAndCompute(gray, None)

23. Opencv——图像拼接项目_第14张图片

小结

SIFT        计算准确率最高,但是速度较慢

SURF        准确率略低于SIFT,但是速度块

ORB        可以进行实时检测,速度更快,但是准确性没有前两者好

暴力特征匹配

经过以上几节的特征点检测的学习,接下来进行两张图片的特征点匹配学习

特征匹配方法:

BF(Brute- Force)        暴力特征匹配方法,通过枚举的方式实现

FLANN        最快邻近区特征匹配方法

暴力特征匹配原理

它使用第一组中的每个特征的描述子,与第二组中的所有特征描述子进行匹配,计算他们之间的差距,然后将最接近一个匹配返回

OPENCV特征匹配步骤

  • 创建匹配器  BFMatcher(normType, crossCheck)        第一个参数为匹配类型,第二个参数为交叉检查
  • 进行特征匹配      bf.match(des1,des2)     第一幅图的描述子与第二幅图进行匹配
  • 绘制匹配点    cv2.drawMatches(img1,kp1,img2,kp2,...)

23. Opencv——图像拼接项目_第15张图片

 23. Opencv——图像拼接项目_第16张图片

 23. Opencv——图像拼接项目_第17张图片

import cv2
import numpy as np

img1 = cv2.imread('E:\\opencv_photo\\opencv_search.png')
img2 = cv2.imread('E:\\opencv_photo\\opencv_orig.png')

# 灰度化
gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

# 创建surf对象
surf = cv2.xfeatures2d.SURF_create()
# 计算特征点和描述子
kp1, des1 = surf.detectAndCompute(gray1, None)
kp2, des2 = surf.detectAndCompute(gray2, None)

# 创建匹配器
bf = cv2.BFMatcher(cv2.NORM_L1)
# 进行特征匹配
match = bf.match(des1, des2)

img3 = cv2.drawMatches(img1, kp1, img2, kp2, match, None)

cv2.imshow('img3',img3)
cv2.waitKey(0)

23. Opencv——图像拼接项目_第18张图片

 FLANN特征匹配

23. Opencv——图像拼接项目_第19张图片

 23. Opencv——图像拼接项目_第20张图片

 当选择SIFT和SURF时,选择KDTREE,若为ORB选择LSH

经验值,一般KDTREE设为5

23. Opencv——图像拼接项目_第21张图片

23. Opencv——图像拼接项目_第22张图片

 23. Opencv——图像拼接项目_第23张图片

23. Opencv——图像拼接项目_第24张图片

 23. Opencv——图像拼接项目_第25张图片

23. Opencv——图像拼接项目_第26张图片

# FLANN特征匹配
import cv2
import numpy as np

img1 = cv2.imread('E:\\opencv_photo\\opencv_search.png')
img2 = cv2.imread('E:\\opencv_photo\\opencv_orig.png')
# 灰度化
gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
# 创建surf对象
surf = cv2.xfeatures2d.SURF_create()
# 计算特征点和描述子
kp1, des1 = surf.detectAndCompute(gray1, None)
kp2, des2 = surf.detectAndCompute(gray2, None)

# 创建匹配器
index_params = dict(algorithm = 1, trees = 5)
search_params = dict(checks = 50)
flann = cv2.FlannBasedMatcher(index_params, search_params)

#对描述子进行匹配计算
matchs = flann.knnMatch(des1, des2, k=2)

# 过滤,对所有匹配点进行优化
good = []
for i, (m,n) in enumerate(matchs):
    if m.distance < 0.7 * n.distance:
        good.append(m)

ret = cv2.drawMatchesKnn(img1, kp1, img2, kp2, [good], None)

cv2.imshow('result',ret)
cv2.waitKey()

 23. Opencv——图像拼接项目_第27张图片

 结果与暴力匹配类似,但是速度更快,暴力匹配的精度更高一点

 图像查找

用到两种技术:特征匹配+单应性矩阵

23. Opencv——图像拼接项目_第28张图片

 单应性矩阵作用:获取到一个矩阵,这个矩阵与图像A进行运算,可以得到图像2的位置

图像2经过计算可以得到原始的位置

23. Opencv——图像拼接项目_第29张图片把图片转正

23. Opencv——图像拼接项目_第30张图片

 抠图,贴图

步骤:

首先进行特征点匹配,计算单应性矩阵,计算透视变换

# 图像查找
import cv2
import numpy as np

img1 = cv2.imread('E:\\opencv_photo\\opencv_search.png')
img2 = cv2.imread('E:\\opencv_photo\\opencv_orig.png')
# 灰度化
gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
# 创建surf对象
surf = cv2.xfeatures2d.SURF_create()
# 计算特征点和描述子
kp1, des1 = surf.detectAndCompute(gray1, None)
kp2, des2 = surf.detectAndCompute(gray2, None)

# 创建匹配器
index_params = dict(algorithm = 1, trees = 5)
search_params = dict(checks = 50)
flann = cv2.FlannBasedMatcher(index_params, search_params)

#对描述子进行匹配计算
matchs = flann.knnMatch(des1, des2, k=2)

# 过滤,对所有匹配点进行优化
good = []
for i, (m,n) in enumerate(matchs):
    if m.distance < 0.7 * n.distance:
        good.append(m)

# ret = cv2.drawMatchesKnn(img1, kp1, img2, kp2, [good], None)

# 匹配点必须大于等于4
if len(good) >= 4:
# 查找单应性矩阵
    srcpts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2) 
    #对数组进行重新变换,有无数行,每一行有1个元素,每个元素由2个子元素组成
    dstpts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2) 

    H,_ = cv2.findHomography(srcpts, dstpts, cv2.RANSAC, 5.0)
    # 第三个参数是对匹配点进行过滤,随机抽样获取规律,最后一个参数为阈值
    # 第一个返回值为单应性矩阵,第二个参数为其掩码,不需要显示,所以用_代替

    # 透视变换
    h,w = img1.shape[:2]
    pts = np.float32([[0,0],[0,h-1], [w-1, h-1], [w-1, 0]]).reshape(-1,1,2)      # 四个角点,左上角,左下角,右下角,右上角
    dst = cv2.perspectiveTransform(pts, H)

    # 用多边形框起来
    cv2.polylines(img2, [np.int32(dst)], True,(0,255,255))
else:
    print('the number of good is less than 4.')
    exit()
# 绘制图像
ret = cv2.drawMatchesKnn(img1, kp1, img2, kp2, [good], None)
cv2.imshow('result',ret)
cv2.waitKey()

23. Opencv——图像拼接项目_第31张图片 

你可能感兴趣的:(Opencv学习笔记,opencv,计算机视觉,python)