【计算机视觉OpenCV基础】实验三 目标识别（卡证、卡号识别）

实验三 目标识别

计算机视觉OpenCV基础实验合辑（实验1234+扩展）
资源下载地址： https://download.csdn.net/download/weixin_53403301
合辑：（加在下载地址后面）
/87113581
讲义（包括理论、图例、PPT、实验、代码、手册）：（加在下载地址后面）
/87113633

matplotlib中载入中文字体

plt.rcParams['font.sans-serif'] = ['SimHei'] # 载入字体

实验目的：
1、 制作目标数字模板；
2、 利用模板识别银行卡号。
实验内容：
1、模板处理
先对模板进行如下步骤的处理：

（1）输入模板

（2）灰度化

（3）二值化

（4）找到所有数字外轮廓

（5）画出轮廓

（6）从左到右，从上到下排序

（7）存放所有轮廓

2、银行卡处理
按照以下步骤对银行卡进行处理：

（1）输入图像，调整大小

（2）灰度化

（3）礼帽操作

（4）Sobel算子计算梯度

（5）闭操作

（6）二值化

（7）闭操作

（8）找到轮廓

（9）筛选轮廓

（10）轮廓排序

（11）找到每一个数字

（12）与模板进行匹配

（14）画出轮廓以及匹配的数字结果

（15）输出银行卡号

# -*- coding: utf-8 -*-
"""
Created on Wed Apr 28 18:13:07 2021

@author: ZHOU
"""

from imutils import contours
import numpy as np
import argparse
import cv2
import myutils
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 载入字体
card=input('输入图像路径和文件名：')

# 定义mat显示函数
def pshow(words,picture):
    plt.imshow(picture[:,:,::-1])
    plt.title(words), plt.xticks([]), plt.yticks([])
    plt.show()

# 读取一个模板图像
img = cv2.imread('ocr_a_reference.png')
pshow('模板',img)

# 转为灰度图
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite('ocr_a_reference2.png',ref)
ref2 = cv2.imread('ocr_a_reference2.png')
pshow('灰度模板',ref2)
# 转为二值图像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
cv2.imwrite('ocr_a_reference3.png',ref)
ref3 = cv2.imread('ocr_a_reference3.png')
pshow('二值模板',ref3)

'''
 	计算轮廓
	cv2.findContours()函数接受的参数为二值图，即黑白的（不是灰度图）,
	@:param cv2.RETR_EXTERNAL只检测外轮廓
	@:param cv2.CHAIN_APPROX_SIMPLE只保留终点坐标
	return:返回的list中每个元素都是图像中的一个轮廓

'''


refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

'''

	refCnts:找到的轮廓
    
'''


# 画出找到的轮廓
pshow('所有模板轮廓',cv2.drawContours(img, refCnts, -1, (0, 0, 255), 3))
refCnts = myutils.sort_contours(refCnts, method="left-to-right")[0] #排序，从左到右，从上到下
digits = {}

# 遍历每一个轮廓
for (i, c) in enumerate(refCnts):
	# 计算外接矩形并且resize成合适大小
	(x, y, w, h) = cv2.boundingRect(c)
	roi = ref[y:y + h, x:x + w]
	roi = cv2.resize(roi, (57, 88))
	# 每一个数字对应每一个模板
	digits[i] = roi

# 初始化卷积核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))

#读取输入图像，预处理
image = cv2.imread(card)
pshow('卡图',image)
# 调整图像的size
image = myutils.resize(image, width=300)
cv2.imwrite('card_size.png',image)
image2 = cv2.imread('card_size.png')
pshow('改变大小',image2)
# 将图像转换为灰度图
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv2.imwrite('card_gray.png',gray)
image3 = cv2.imread('card_gray.png')
pshow('灰度卡图',image3)

#礼帽操作，突出更明亮的区域  TODO：什么是礼帽操作
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel) 
cv2.imwrite('card_hat.png',tophat)
image4 = cv2.imread('card_hat.png')
pshow('礼帽操作',image4)

'''
	利用Sobel算子进行边缘检测
	:return 返回输入图像的梯度图
'''
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, #ksize=-1相当于用3*3的
	ksize=-1)
gradX = np.absolute(gradX)  # 获得gradX的绝对值
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")
cv2.imwrite('card_temp.png',gradX)
temp = cv2.imread('card_temp.png')
pshow('边缘检测',temp)


#通过闭操作（先膨胀，再腐蚀）将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel) 
cv2.imwrite('card_temp.png',gradX)
temp = cv2.imread('card_temp.png')
pshow('闭操作',temp)

#THRESH_OTSU会自动寻找合适的阈值，适合双峰，需把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255,
cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] 
cv2.imwrite('card_temp.png',thresh)
temp = cv2.imread('card_temp.png')
pshow('阈值为0',temp)
#再来一个闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) #再来一个闭操作
cv2.imwrite('card_temp.png',thresh)
temp = cv2.imread('card_temp.png')
pshow('重复闭操作',temp)

# 计算轮廓
# thresh_, threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,	cv2.CHAIN_APPROX_SIMPLE)
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,	cv2.CHAIN_APPROX_SIMPLE)

cnts = threshCnts
cur_img = image.copy()
pshow('轮廓标记',cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3))


locs = []
# 遍历轮廓
for (i, c) in enumerate(cnts):
	# 计算矩形
	(x, y, w, h) = cv2.boundingRect(c)
	ar = w / float(h)

	# 选择合适的区域，根据实际任务来，这里的基本都是四个数字一组
	if ar > 2.5 and ar < 4.0:

		if (w > 40 and w < 55) and (h > 10 and h < 20):
			#符合的留下来
			locs.append((x, y, w, h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x:x[0])
output = []

# 遍历每一个轮廓中的数字
for (i, (gX, gY, gW, gH)) in enumerate(locs):
	# initialize the list of group digits
	groupOutput = []

	# 根据坐标提取每一个组
	group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
    
	# 预处理
	group = cv2.threshold(group, 0, 255,
	cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]    
	# 计算每一组的轮廓
	# group_,digitCnts,hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
	digitCnts,hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
	digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0]
# 计算每一组中的每一个数值
	for c in digitCnts:
		# 找到当前数值的轮廓，resize成合适的的大小
		(x, y, w, h) = cv2.boundingRect(c)
		roi = group[y:y + h, x:x + w]
		roi = cv2.resize(roi, (57, 88))


		# 计算匹配得分
		scores = []

		# 在模板中计算每一个得分
		for (digit, digitROI) in digits.items():
			# 模板匹配
			result = cv2.matchTemplate(roi, digitROI,
				cv2.TM_CCOEFF)
			(_, score, _, _) = cv2.minMaxLoc(result)
			scores.append(score)

		# 得到最合适的数字
		groupOutput.append(str(np.argmax(scores)))

	# 画出来
	cv2.rectangle(image, (gX - 5, gY - 5),
		(gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
	cv2.putText(image, "".join(groupOutput), (gX, gY - 15),
		cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)

	# 得到结果
	output.extend(groupOutput)

# 打印结果
pshow('识别结果',image)
print('卡号:','{}'.format("".join(output)))

输入图像路径和文件名：./credit_card_01.png

卡号: 4000123456789010

实验收获：
利用先前两次实验学到的知识，成功制作模板，并进行匹配，将银行卡号成功识别出来。

​
​
​
​