Opencv模板匹配破解滑动验证码基于python

如果你直接使用模板匹配效果并不理想的话，可以试试这种方法，我们现将图片进行自适应阈值处理，这样的则可以增强轮廓边缘的信息，让效果更加显著，在使用边缘检测保留更多信息，由于缺口位置是半透明阴影状态，模板图片和缺口位置存在相同信息，则可以大大提高匹配准确率。

展示图片

两张图片一张是滑块背景图

另一张是 模板也就是小的拼图

思路分析

导入图片

import cv2
img_rgb = cv2.imread(img_path)
template = cv2.imread(tm_path)

自适应阈值

将导入后的图片进行自适应阈值处理得到结果如下：

 img_thresh = cv2.adaptiveThreshold(img_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 25, 5)
 tm_thresh = cv2.adaptiveThreshold(template, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 25, 5)

边缘检测

接下来进行边缘检测 将范围调制较大保留更多边缘，

 img_canny = cv2.Canny(img_thresh, 0, 500)
 tm_canny = cv2.Canny(tm_thresh, 0, 500)

模板匹配

得到边缘检测的结果后，在进行模板匹配
我们使用归一化系数匹配法 TM_CCOEFF_NORMED
在用minMaxLoc方法求出最大值，和最小值，以及他们的坐标

res = cv2.matchTemplate(img_canny, tm_canny, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

计算矩形坐标

h, w = template.shape[:2]
right_bottom = (max_loc[0] + w, max_loc[1] + h)   # 右下角
 cv2.rectangle(img_rgb, max_loc, right_bottom, (0, 0, 255), 2)

我们拿到模板图像的高和宽，在通过我们的max_loc为矩形的左上角坐标x轴加上宽得到矩形右下角x坐标，y轴坐标加上高得到右下角y坐标
在使用rectangle方法将其显示出来。

结果展示

可以看到还是很准确的，矩形面积大是因为，模板的宽高没有进行处理，存在透明通道部分。

下面我们可以测试多图看一下效果。


也可以看到检测不准的，当然图像处理的方法并不能解决，所有的滑块问题，因为不同的滑块之前却别也是很大的，有的透明背景图，有的纯白色，有的纯黑色，有的透明通道为缺口。

完整代码

def template_matching(img_path, tm_path):

	# 导入图片，灰度化
    img_rgb = cv2.imread(img_path)
    template_rgb = cv2.imread(tm_path)
    img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
    tm_gray = cv2.cvtColor(template_rgb, cv2.COLOR_BGR2GRAY)
    
    # 自适应阈值话
    img_thresh = cv2.adaptiveThreshold(img_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 25, 5)
    tm_thresh = cv2.adaptiveThreshold(tm_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 25, 5)

    # 边缘检测
    img_canny = cv2.Canny(img_thresh, 0, 500)
    tm_canny = cv2.Canny(tm_thresh, 0, 500)
    cv2.imshow("img_canny", img_canny)
    cv2.imshow("tm_canny", tm_canny)
    h, w = template_rgb.shape[:2]
    # 模板匹配
    res = cv2.matchTemplate(img_canny, tm_canny, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    right_bottom = (max_loc[0] + w, max_loc[1] + h)   # 右下角
	# 圈出矩形坐标
    cv2.rectangle(img_rgb, max_loc, right_bottom, (0, 0, 255), 2)

    # 保存处理后的图片
    cv2.imwrite('res.png', img_rgb)

    # 显示图片 参数：（窗口标识字符串，imread读入的图像）
    # cv2.imshow("test_image", img_rgb)
    return img_rgb