OpenCV-Python快速入门（十四）：模板匹配

前言

• 本文是个人快速入门OpenCV-Python的电子笔记，由于水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入
  OpenCV-Python快速入门专栏或我的个人主页查看

前提条件

• 熟悉Python

实验环境

• Python 3.x （面向对象的高级语言）
• OpenCV 4.0（python第三方库）pip3 install opencv-python

模板匹配（cv2.matchTemplate()）

• 模板匹配是指在当前图像 A 内寻找与图像 B 最相似的部分，一般将图像 A 称为输入图像，
  将图像 B 称为模板图像。模板匹配的操作方法是将模板图像 B 在图像 A 上滑动，遍历所有像
  素以完成匹配。
  
• 在 OpenCV 内，模板匹配是使用函数 cv2.matchTemplate()实现的。该函数的语法格式为：：
  • result = cv2.matchTemplate(image, templ, method[, mask ] )
• image 为原始图像，必须是 8 位或者 32 位的浮点型图像。
• templ 为模板图像。它的尺寸必须小于或等于原始图像，并且与原始图像具有同样的类型。
• method 为匹配方法。该参数通过 TemplateMatchModes 实现，有 6 种可能的值，如下表所示。
  
  
• mask 为模板图像掩模。它必须和模板图像 templ 具有相同的类型和大小。通常情况下，该值使用默认值即可。当前，该参数仅支持 TM_SQDIFF 和 TM_CCORR_NORMED 两个值。
• 函数 cv2.matchTemplate()的返回值 result 是由每个位置的比较结果组合所构成的一个结果集，类型是单通道 32 位浮点型。如果输入图像（原始图像）尺寸是 $W\ast H$，模板的尺寸是 $w\ast h$，则返回值的大小为$(W-w+1)\ast (H-h+1)$。
• 在进行模板匹配时，模板在原始图像内遍历。
  • 在水平方向上：
    • 遍历的起始坐标是原始图像左数第 1 个像素值（序号从 1 开始）。
    • 最后一次比较是当模板图像位于原始图像的最右侧时，此时其左上角像素点所在的位置是 $W-w+1$。
    • 因此，返回值 result 在水平方向上的大小是 $W-w+1$（水平方向上的比较次数）。
  • 在垂直方向上：
    • 遍历的起始坐标从原始图像顶端的第 1 个像素开始。
    • 最后一次比较是当模板图像位于原始图像的最下端时，此时其左上角像素点所在位置是 $H-h+1$。
    • 所以，返回值 result 在垂直方向上的大小是 $H-h+1$（垂直方向上的比较次数）。
    • 如果原始图像尺寸是 W*H，模板的尺寸是 $w\ast h$，则返回值的大小为$(W-w+1)\ast (H-h+1)$。也
      就是说，模板图像要在输入图像内比较$(W-w+1)\ast (H-h+1)$次。
• 注意：函数 cv2.matchTemplate()通过参数 method 来决定使用不同的查找方法。对于不同的查找方法，返回值 result 具有不同的含义。例如：
  • method 的值为 cv2.TM_SQDIFF 和 cv2.TM_SQDIFF_NORMED 时，result 值为 0 表示匹配度最好，值越大，表示匹配度越差。
  • method 的值为 cv2.TM_CCORR、cv2.TM_CCORR_NORMED、cv2.TM_CCOEFF 和
    cv2.TM_CCOEFF_NORMED 时，result 的值越小表示匹配度越差，值越大表示匹配度越好。
• 从上述分析可以看出，查找方法不同，结果的判定方式也不同。在查找最佳匹配时，首先要确定使用的是何种 method，然后再确定到底是查找最大值，还是查找最小值。
• 查找最值（极值）与最值所在的位置，可以使用 cv2.minMaxLoc()函数实现。该函数语法格式如下：
  • minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc( src [, mask] )
• src 为单通道数组。
• minVal 为返回的最小值，如果没有最小值，则可以是 NULL（空值）。
• maxVal 为返回的最大值，如果没有最小值，则可以是 NULL。
• minLoc 为最大值的位置，如果没有最大值，则可以是 NULL。
• maxLoc 为最大值的位置，如果没有最大值，则可以是 NULL。
• mask 为用来选取掩模的子集，可选项。
• 函数 cv2.minMaxLoc()能够查找整个数组内的最值及它们的位置，并且可以根据当前的掩模集来选取特定子集的极值。
• 综上所述，函数 cv2.matchTemplate()返回值中的最值位置就是模板匹配的位置。
  函数cv2.minMaxLoc()来查找函数 cv2.matchTemplate()返回值中的最值位置，就可以找到最佳模板匹配的位置。

匹配单个结果

import cv2
import numpy as np
from matplotlib import pyplot as plt
# 读取原始图片
img = cv2.imread('cat.jpg',0)
# 读取模板图片
template = cv2.imread('temp.jpg',0)

# 显示图片
plt.figure(figsize=(20, 20))
plt.subplot(221),plt.imshow(template,cmap = 'gray')
plt.title('Template Image'), plt.xticks([]), plt.yticks([])
plt.subplot(222),plt.imshow(img,cmap = 'gray')
plt.title('Origin Image'), plt.xticks([]), plt.yticks([])

# 获取模板图片的高和宽
th, tw = template.shape[::]
# rv是由每个位置的比较结果组合所构成的一个结果集，类型是单通道 32 位浮点型。
rv = cv2.matchTemplate(img,template,cv2.TM_SQDIFF)
# 查找最值（极值）与最值所在的位置
minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc(rv)
# 左上角位置坐标
topLeft = minLoc 
# 右下角位置坐标
bottomRight = (topLeft[0] + tw, topLeft[1] + th) 
# 绘制矩形
cv2.rectangle(img,topLeft, bottomRight, 255, 5)
# 显示图片
plt.subplot(223),plt.imshow(rv,cmap = 'gray')
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
plt.subplot(224),plt.imshow(img,cmap = 'gray')
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.show()

import cv2
import numpy as np
from matplotlib import pyplot as plt
# 读取原始图片
img = cv2.imread('cat.jpg')
# BGR -> RGB
img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
# 读取模板图片
template = cv2.imread('temp.jpg')
# BGR -> RGB
template = cv2.cvtColor(template,cv2.COLOR_BGR2RGB)

# 显示图片
plt.figure(figsize=(20, 20))
plt.subplot(221),plt.imshow(template)
plt.title('Template Image'), plt.xticks([]), plt.yticks([])
plt.subplot(222),plt.imshow(img)
plt.title('Origin Image'), plt.xticks([]), plt.yticks([])

# 获取模板图片的高和宽
th, tw = template.shape[0],template.shape[1]
# rv是由每个位置的比较结果组合所构成的一个结果集，类型是单通道 32 位浮点型。
rv = cv2.matchTemplate(img,template,cv2.TM_SQDIFF)
# 查找最值（极值）与最值所在的位置
minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc(rv)
# 左上角位置坐标
topLeft = minLoc
# 右下角角位置坐标
bottomRight = (topLeft[0] + tw, topLeft[1] + th)
# 绘制矩形
cv2.rectangle(img,topLeft, bottomRight, (255,255,255), 5)
# 显示图片
plt.subplot(223),plt.imshow(rv)
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
plt.subplot(224),plt.imshow(img)
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.show()

匹配多个结果

import cv2
import numpy as np
from matplotlib import pyplot as plt
# 读取原始图片
img = cv2.imread('geese.jpg',0)
# BGR -> RGB
img_BGR = cv2.imread('geese.jpg')
img_RGB = cv2.cvtColor(img_BGR,cv2.COLOR_BGR2RGB)
# 读取模板图片
template = cv2.imread('goose.jpg',0)
# BGR -> RGB
template_BGR = cv2.imread('goose.jpg')
template_RGB = cv2.cvtColor(template_BGR,cv2.COLOR_BGR2RGB)

# 显示图片
plt.figure(figsize=(20, 20))
plt.subplot(221),plt.imshow(template_RGB)
plt.title('Template Image'), plt.xticks([]), plt.yticks([])
plt.subplot(222),plt.imshow(img_RGB)
plt.title('Origin Image'), plt.xticks([]), plt.yticks([])

# 获取模板图片的高和宽
w, h = template.shape[::-1]
# res是由每个位置的比较结果组合所构成的一个结果集，类型是单通道 32 位浮点型。
res = cv2.matchTemplate(img,template,cv2.TM_CCOEFF_NORMED)
# 阈值
threshold = 0.9
# 位置结果集
loc = np.where(res >= threshold) # 将大于threshold的结果位置，保存下来
# 遍历位置结果，绘制矩形
for pt in zip(*loc[::-1]): 
    cv2.rectangle(img_RGB, pt, (pt[0] + w, pt[1] + h), (255,255,255), 1)

# 显示图片
plt.subplot(223),plt.imshow(res)
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
plt.subplot(224),plt.imshow(img_RGB)
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.show()

参考文献

[1] https://opencv.org/
[2] 李立宗. OpenCV轻松入门：面向Python. 北京： 电子工业出版社，2019

• 更多精彩内容，可点击进入
  OpenCV-Python快速入门专栏或我的个人主页查看