openCV实战-系列教程7：轮廓检测2与模板匹配（轮廓检测/轮廓特征/轮廓近似/轮廓边界矩阵/轮廓边界圆/模版匹配）、原理解析、源码解读

 打印一个图片可以做出一个函数：

def cv_show(img,name):
    cv2.imshow(name,img)
    cv2.waitKey()
    cv2.destroyAllWindows()

1、轮廓特征与近似

1.1 轮廓特征

前面我们计算了这个图片的轮廓：

 它的轮廓信息保存在了contours中，取出第一个轮廓，计算相关参数：

cnt = contours[0]
cv2.contourArea(cnt)
cv2.arcLength(cnt,True)

打印结果：

8500.5 
437.9482651948929

这是分别求出了周长和面积，这里的True表示的是否是闭合的。 

1.2 轮廓近似

 

如图，第一个图是原图，如果将它的轮廓计算出来应该是第三个图的结果，但是我不想要这样一些带坑坑洼洼的结果，我只想要图2这样的结果呢？

原图中含有一些曲线，比如有一条曲线，这条曲线有A、B两个点，先将这两个点连上，在曲线中选到一个C点，使得这个C点到AB这条直线上距离最大，如果这个距离d小于指定的阈值t，那么这个AB直线就可以当做曲线的近似了。

那如果大于设定的阈值呢？那么曲线就会被分解成两个部分变成两个曲线，AC和BC，然后AC和BC继续去做前面的判断操作一直到找到近似直线。

但是在代码的实现却非常简单：

img = cv2.imread('contours2.png')

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
cnt = contours[0]

draw_img = img.copy()
res = cv2.drawContours(draw_img, [cnt], -1, (0, 0, 255), 2)
cv_show(res,'res')

每行代码的意思：

1. 读进来图像，还是前面的图像
2. 做二值处理
3. 找轮廓信息 
4. 找出第一个轮廓
5. 深度复制图像
6. 提取轮廓信息
7. 将轮廓图像打印

打印结果： 

 接下来做轮廓近似的处理：

epsilon = 0.1*cv2.arcLength(cnt,True) 
approx = cv2.approxPolyDP(cnt,epsilon,True)

draw_img = img.copy()
res = cv2.drawContours(draw_img, [approx], -1, (0, 0, 255), 2)
cv_show(res,'res')

关键代码：approx = cv2.approxPolyDP(cnt,epsilon,True)

cv2.approxPolyDP这是计算轮廓的函数，第一个参数表示计算的轮廓，第二个是指定的阈值，这个阈值是自己指定的，一般通过周长来计算，所以approx是计算的轮廓信息，再用cv2.drawContours将轮廓拟合出来，打印图像。

打印结果：

 这就是近似完的结果，这里可以调整前面计算周长的权重0.1多执行几次，这个值指定的越小结果越接近原始轮廓。

1.3 边界矩阵

 继续用上面的图片，如何将一个轮廓的外接矩形标出来呢？不废话直接上代码：

img = cv2.imread('contours.png')

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
cnt = contours[5]

x,y,w,h = cv2.boundingRect(cnt)
img = cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),2)
cv_show(img,'img')

前面几行都已经学习过了，直接看到这里

x,y,w,h = cv2.boundingRect(cnt)

cnt是轮廓信息，通过cv2.boundingRect可以计算出四个值x,y,w,h，一个坐标加上长宽，有这个信息就可以得到一个确定的矩形。

通过这个函数cv2.rectangle，依次传进去图像，坐标1，坐标2，颜色，线条宽度，拟合出这个轮廓

打印结果：

 计算外接矩形和原始图形的面积比值：

area = cv2.contourArea(cnt)
x, y, w, h = cv2.boundingRect(cnt)
rect_area = w * h
extent = float(area) / rect_area
print ('轮廓面积与边界矩形比',extent)

第一行是计算原始面积，第二行+第三行计算外接矩形的面积，然后计算比值打印出来：

轮廓面积与边界矩形比 0.5154317244724715

外接圆：

(x,y),radius = cv2.minEnclosingCircle(cnt) 
center = (int(x),int(y)) 
radius = int(radius) 
img = cv2.circle(img,center,radius,(0,255,0),2)
cv_show(img,'img')

 

2、模板匹配方法

模板匹配在openCV中是非常重要的内容，和卷积原理很像，模板在原图像上从原点开始滑动，计算模板与（图像被模板覆盖的地方）的差别程度，这个差别程度的计算方法在opencv里有6种，然后将每次计算的结果放入一个矩阵里，作为结果输出。假如原图形是AxB大小，而模板是axb大小，则输出结果的矩阵是(A-a+1)x(B-b+1) 

如图这是两个图片，我需要做的是将lena脸的部分框出来，然后右图相当于是标签，假如左图是一个9*9的图像，右图是一个3*3的图像，那么左图可以分解成9个3*3的图像，将右图与这9个区域的图像进行比对，通过计算两个图像的像素匹配程度来判断是这9个区域的那一个区域，9个区域就是从左至右从上至下一个一个进行匹配。

那这个匹配程度怎么计算呢，openCV提供了多种方法来计算，比如计算对应位置之间的像素值差异，差异值就是量化匹配程度，当然差异值越小说明匹配程度越接近。具体的匹配方法：

• TM_SQDIFF：计算平方不同，计算出来的值越小，越相关
• TM_CCORR：计算相关性，计算出来的值越大，越相关
• TM_CCOEFF：计算相关系数，计算出来的值越大，越相关
• TM_SQDIFF_NORMED：计算归一化平方不同，计算出来的值越接近0，越相关
• TM_CCORR_NORMED：计算归一化相关性，计算出来的值越接近1，越相关
• TM_CCOEFF_NORMED：计算归一化相关系数，计算出来的值越接近1，越相关

这里给出一个openCV官网链接，是上面这些匹配方法的计算公式：

OpenCV: Object Detection

分别将lena和模板（lena的脸）读进来，转化为灰度图后打印出大小：

# 模板匹配
img = cv2.imread('lena.jpg', 0)
template = cv2.imread('face.jpg', 0)
h, w = template.shape[:2]
print(img.shape)
print(template.shape)

h和w是模板的长和宽，打印的shape值为：

(263, 263)

(110, 85)

 调用模板匹配操作：

methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR',
           'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']
res = cv2.matchTemplate(img, template, cv2.TM_SQDIFF)
print(res.shape)

methods是所有方法

 cv2.matchTemplate的参数分别为原始图像、模板、匹配方法

然后打印shape值

打印结果：

(154, 179)

这里的154=263-110+1,179=263-85+1

用这个结果去定位一下最小损失的那个像素点的位置：

min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
print(min_val, max_val, min_loc, max_loc)

 打印结果：

39168.0

74403584.0

(107, 89)

(159, 62)

在这个匹配方法中，我们需要的是min_loc，这个点的坐标再加上模板的长宽，就可以得到我们想要框住的区域了。

3、模板匹配效果

用6种不同的匹配方法进行模板匹配，看下结果的差异：

for meth in methods:
    img2 = img.copy()

    # 匹配方法的真值
    method = eval(meth)
    print (method)
    res = cv2.matchTemplate(img, template, method)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

    # 如果是平方差匹配TM_SQDIFF或归一化平方差匹配TM_SQDIFF_NORMED，取最小值
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
    else:
        top_left = max_loc
    bottom_right = (top_left[0] + w, top_left[1] + h)

    # 画矩形
    cv2.rectangle(img2, top_left, bottom_right, 255, 2)

    plt.subplot(121), plt.imshow(res, cmap='gray')
    plt.xticks([]), plt.yticks([])  # 隐藏坐标轴
    plt.subplot(122), plt.imshow(img2, cmap='gray')
    plt.xticks([]), plt.yticks([])
    plt.suptitle(meth)
    plt.show()

对这个代码块逐行解释：

1. for循环
2. 深度复制图像
3. 取出当前匹配方法名称（前面有一个数组存了全部的6个方法）（加上eval的原因是不能传进来一个字符串）
4. 计算一个结果
5. 找出最好结果和最坏结果的差异程度值和坐标
6. 判断当前方法是算最小值为最佳结果还是最大值为最佳结果
7. 6已解释
8. 6已解释
9. 6已解释
10. 计算出右下角的坐标
11. 通过对焦的两个点的坐标画出一个矩形将目标区域框出来
12. 后面全是将结果打印出来

打印结果几乎都是一样的，就只列出一个了：

 左边的图好理解，就是将lena的脸框出来了，我们完成了任务，右边就是计算出了一个最亮的位置也就是前面res变量的输出结果。

没有加上归一化操作的结果会稍微差点。

同样的道理我们做一下多个模板的匹配，比如一张图上有多个模板需要全部框出来：

img_rgb = cv2.imread('mario.jpg')
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
template = cv2.imread('mario_coin.jpg', 0)
h, w = template.shape[:2]

res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.8
# 取匹配程度大于%80的坐标
loc = np.where(res >= threshold)
for pt in zip(*loc[::-1]):  # *号表示可选参数
    bottom_right = (pt[0] + w, pt[1] + h)
    cv2.rectangle(img_rgb, pt, bottom_right, (0, 0, 255), 2)

cv2.imshow('img_rgb', img_rgb)
cv2.waitKey(0)

打印结果：