项目实战（一）信用卡数字识别个人学习笔记（初学超详细注释）

 初次学习此项目实战，偏向初学小白使用。

目录

一、myutils.py文件解释

二、ocr_template_match.py解释

1.导入库并设置参数

 2. 处理0-9数字模板

 3. 预处理信用卡图像

4. 按组绘制轮廓

5. 模型匹配得到最终结果

---

开始之前贴一下配置的CPU版本的pytorch环境：

 

 

 

一、myutils.py文件解释

首先看myutils.py文件中内容，其自定义了sort_contours和resize两个函数，前者对后续图像处理中数字的轮廓进行排序，后者用于重置图像大小。

但是，其实我发现这里定义的sort_contours函数其实没什么用，因为他在主函数ocr_template_match.py 中，导入了imutils库中的contours函数，二者用法一样，当然这不影响程序跑通。

代码详细注释如下：

import cv2

def sort_contours(cnts, method="left-to-right"):
    #reverse = False 表示升序，若不指定reverse则默认升序
    reverse = False
    i = 0

    if method == "right-to-left" or method == "bottom-to-top":
        reverse = True  #reverse = True 表示降序

    if method == "top-to-bottom" or method == "bottom-to-top":
        i = 1
    boundingBoxes = [cv2.boundingRect(c) for c in cnts] #用一个最小的矩形，把找到的形状包起来，用x,y,h,w表示
    #zip函数用于打包可迭代数据，得到最终输出的cnts和boundingBoxes
    (cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes),
                                        key=lambda b: b[1][i], reverse=reverse))

    return cnts, boundingBoxes
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]  #获取图像的高度和宽度
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)  #使用cv库的resize函数
    return resized

 其中，sort_contours中的倒数第二行代码如下解释：

首先，zip(cnts, boundingBoxes)用于将原有的cnt和boundingBoxes（简称bbox）进行组合，如：

cnts =（cnt1, cnt2, cnt3）,boundingBoxes = (bbox1, bbox2, bbox3)

则zip(cnts, boundingBoxes) = （cnt1, bbox1）,(cnt2, bbox2), (cnt3, bbox3)

其中bbox数据的形式都为（x, y, h, w）

然后，b:b[1][i]表示按照bbox中x或y的大小排列，i=0则是x，i=1则是y，按照reverse的顺序排列。

最后将排好序之后的打包数据zip(cnts, boundingBoxes)，用zip(*.....)解包，

得到最终return的，排好顺序的cnts和boundingBoxes。

二、ocr_template_match.py解释

在解释之前，先分析图像处理逻辑：

1. 导入库并设置参数

2. 处理0-9数字模板：用“灰度处理=>二值化处理”进行模板图像的预处理，

  用“计算轮廓=>遍历轮廓”的模式进行10个数字模板的分隔存储；

3. 预处理信用卡图像：重置尺寸=>灰度处理=>礼帽处理=>梯度计算；

4. 绘制轮廓：得到所有轮廓，然后筛选出包含4个数一组的卡号的轮廓；

5. 模型匹配：通过循环，将每组的4个数分别于模板数组进行对比，计算相似得分，最终得到卡号。

1.导入库并设置参数

# 导入工具包
from imutils import contours
import numpy as np
import argparse
import cv2
import myutils

# 设置命令行参数
ap = argparse.ArgumentParser()
#“--image”表示设置了image参数，“required=True”表示必须有此参数
#“help”中的内容表示用法，在终端显示
ap.add_argument("-i", "--image", required=True,
	help="path to input image")
ap.add_argument("-t", "--template", required=True,
	help="path to template OCR-A image")
args = vars(ap.parse_args())

# 指定信用卡类型，卡号3开头的是"American Express"，4开头的是"Visa"，以此类推
FIRST_NUMBER = {
	"3": "American Express",
	"4": "Visa",
	"5": "MasterCard",
	"6": "Discover Card"
}

其中，“--image”表示设置了image参数，“-i”是其简写，“required=True”表示必须有此参数 ，“help”中的内容表示用法，在终端显示。template同理

设置命令行参数“-i”和“-t”时，要在程序配置中添加，如下所示：

打开“编辑配置”

在参数编辑栏输入对应路径

 如此，开始运行后，下方运行窗口就会显示设置的参数：

 “help”的使用，在终端输入对应路径对应py文件名后，再输入“--help”即可查看：

 2. 处理0-9数字模板

这部分没什么难理解的，都是基础的opencv操作，注释都在下面代码中写的很详细。

# 绘图展示
#定义一个绘图函数
def cv_show(name,img):
	cv2.imshow(name, img)
	cv2.waitKey(0)
	cv2.destroyAllWindows()
# 读取一个模板图像
img = cv2.imread(args["template"])
cv_show('img',img)
# 灰度图
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv_show('ref',ref)
# 二值图像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
cv_show('ref',ref)

# 计算轮廓
#cv2.findContours()函数接受的参数为二值图，即黑白的（不是灰度图）,
#cv2.RETR_EXTERNAL只检测外轮廓，cv2.CHAIN_APPROX_SIMPLE只保留终点坐标
#返回的list中每个元素都是图像中的一个轮廓

ref_,refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
#画轮廓
cv2.drawContours(img,refCnts,-1,(0,0,255),3) 
cv_show('img',img)
print (np.array(refCnts).shape)
#这里的myutils也可以直接替换为imutils
refCnts = myutils.sort_contours(refCnts, method="left-to-right")[0] #排序，从左到右，从上到下
digits = {}

# 遍历每一个轮廓
for (i, c) in enumerate(refCnts):
	# 计算外接矩形并且resize成合适大小
	(x, y, w, h) = cv2.boundingRect(c)  #（x, y）为矩形框boundingbox左上角坐标，w和h分别施宽和高
	#从二值图ref中截取矩形框bbox内的像素点
	roi = ref[y:y + h, x:x + w]
	roi = cv2.resize(roi, (57, 88))   #模板中的10个数字resize中统一大小
	#roi = cv2.resize(roi, (80, 100))

	# 每一个数字对应每一个模板
	digits[i] = roi
	#cv_show(str(i),roi);

 3. 预处理信用卡图像

首先设置两个卷积核，用于后续运算处理：

# 初始化卷积核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))

 然后，读取信用卡图像，转为灰度图后，再进行礼帽操作，增强对比度：

#读取输入图像，预处理
image = cv2.imread(args["image"])
cv_show('image',image)
image = myutils.resize(image, width=300)
#灰度图
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray',gray)
#礼帽操作，突出更明亮的区域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel) 
cv_show('tophat',tophat) 

接着，进行梯度计算，得到数字轮廓，用于后续处理。

但是，这里我也不是特别明白为什么要进行梯度计算，我感觉没有这一步同样不影响后续对信用卡上数字轮廓的选取。（我尝试把这一步删掉，发现不影响结果）

梯度计算源代码如下：

# 梯度处理
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, #ksize=-1相当于用3*3的
	ksize=-1)


gradX = np.absolute(gradX)  #计算绝对值
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")

print (np.array(gradX).shape)
cv_show('gradX',gradX)

通过闭运算和阈值处理，将4个数字为一组的信用卡号按组分隔开：

#通过闭操作（先膨胀，再腐蚀）将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX',gradX)
#THRESH_OTSU会自动寻找合适的阈值，适合双峰，需把阈值参数设置为0
#阈值处理将大于阈值的像素值置为255，小于阈值的置为0，
thresh = cv2.threshold(gradX, 0, 255,
	cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] 
cv_show('thresh',thresh)

#再来一个闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) #再来一个闭操作
cv_show('thresh',thresh)

4. 按组绘制轮廓

将卡号按上一步闭运算处理之后的结果，绘制出所有得到的轮廓，并根据每个轮廓的宽高比，筛选出4个数字一组的轮廓，：

# 计算轮廓
ref_,threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
	cv2.CHAIN_APPROX_SIMPLE)

cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img,cnts,-1,(0,0,255),3) 
cv_show('img',cur_img)
locs = []

# 遍历轮廓
for (i, c) in enumerate(cnts):
	# 计算矩形
	(x, y, w, h) = cv2.boundingRect(c)
	ar = w / float(h)

	# 选择合适的区域，根据实际任务来，这里的基本都是四个数字一组
	if ar > 2.5 and ar < 4.0:

		if (w > 40 and w < 55) and (h > 10 and h < 20):
			#符合的留下来
			locs.append((x, y, w, h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x:x[0])   #取x第一维（x[0]），默认升序排列

5. 模型匹配得到最终结果

通过循环结构，分别将每一组的四个数字于模板进行匹配，并将结果存入数组，最后将结果绘制在信用卡图像上。

output = []
# 遍历每一个轮廓中的数字
for (i, (gX, gY, gW, gH)) in enumerate(locs):
	# initialize the list of group digits
	groupOutput = []

	# 根据坐标提取每一个组
	group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
	cv_show('group',group)
	# 预处理
	group = cv2.threshold(group, 0, 255,
		cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
	cv_show('group',group)
	# 计算每一组的轮廓
	ref_,digitCnts,hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,
		cv2.CHAIN_APPROX_SIMPLE)
	#这里就是之前说的，muutils和contours都可以
	# digitCnts = myutils.sort_contours(digitCnts,
	# 								   method="left-to-right")[0]
	digitCnts = contours.sort_contours(digitCnts,
		method="left-to-right")[0]

	# 计算每一组中的每一个数值
	for c in digitCnts:
		# 找到当前数值的轮廓，resize成合适的的大小
		(x, y, w, h) = cv2.boundingRect(c)
		roi = group[y:y + h, x:x + w]
		roi = cv2.resize(roi, (57, 88))
		#roi = cv2.resize(roi, (80, 100))
		cv_show('roi',roi)

		# 计算匹配得分
		scores = []

		# 在模板中计算每一个得分
		for (digit, digitROI) in digits.items():
			# 模板匹配
			result = cv2.matchTemplate(roi, digitROI,
				cv2.TM_CCOEFF)
			(_, score, _, _) = cv2.minMaxLoc(result)
			scores.append(score)

		# 得到最合适的数字
		groupOutput.append(str(np.argmax(scores)))  #np.argmax从scores中取出最大值元素的索引值

	# 画出来
	#绘出矩形框
	cv2.rectangle(image, (gX - 5, gY - 5),
		(gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
	#在对应位置上方写上数字
	cv2.putText(image, "".join(groupOutput), (gX, gY - 15),
		cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)

	# 得到结果
	output.extend(groupOutput)

# 打印结果
print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
print("Credit Card #: {}".format("".join(output)))
cv2.imshow("Image", image)
cv2.waitKey(0)

到此，项目实战（一）——信用卡数字识别的代码详解基本上是结束了，自己学习完做一个笔记留存，方便日后查看，也欢迎大家共同交流学习。