OpenCV计算机视觉实战（Python）| 9、项目实战：信用卡数字识别

简介

本节为《OpenCV计算机视觉实战（Python）》版第9讲，项目实战：信用卡数字识别，的总结。

总结

1.介绍

从一个银行卡中识别其中的银行卡号：

2. 流程

首先，创建模板图像，对模板进行边缘检测、轮廓检测，得到10个数字分别对应的模板。 模板图像包括0-9共10个数，在匹配的时候，分别提取10个模板，将输入的图像中的数分别与模板图像做匹配，得到最小误差的模板，即为该图像的数字；

模板：
预处理：

轮廓检测：

接着，输入图像（银行卡），灰度图，二值化（轮廓检测的输入均为二值图像），预处理（顶帽，SobelX滤波，闭操作*2），轮廓检测（只检测外轮廓），轮廓近似（外接矩形近似，然后根据长宽比滤除不合适的对象。长宽比例不属于数字规范的，滤除掉，剩下的即为包含数字的模块）。

原图：

各种处理：（使轮廓检测的结果更准确）

检测的结果： 按照长宽比过滤到不包含数字的区域，只剩下4个区域

得到含有数字的模块后，分别对每一个模板，提取其中的每一个数字（二值化，边界，轮廓），然后将每一个数字与模板集进行匹配，得到最终的输出。

模块：

提取每一个小数字：

检测的最终结果： 识别出每一个数字时什么

3. 程序

def cv_show(name, img):
	cv2.imshow(name, img)
	cv2.waitKey(0)
	cv2.destroyAllWindows()

# 读入图像
img = cv2.imread('')
cv_imshow('img', img)

# 灰度图
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv_show('ref', ref)

# 二值图像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
cv_show('ref', ref)

# 计算 轮廓
ref_, refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETE_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 只检测外轮廓，保留坐标点

# 绘制轮廓
cv2.drawContours(img, refCntss, -1, (0,0,255), 3)
CV_show('img', img)
print(np.array(refCnts).shape)

# 对轮廓进行排序：只考虑外轮廓的左上顶点的坐标值
refCnts = myutils.sort_contours(refCnts, method='left-to-right')[0]
digits = {}

# 遍历每一个轮廓
for (i,c) in enumerate(refCnts):
	# 计算外接矩形并且resize
	(x,y,w,h) = cv2.boundingRect(c)
	roi = ref[y:y+h, x:x+w)
	roi = cv2.resize(roi, (57, 88))

	# 计算每一个数字对应的模板
	digitsp[i] = roi

# 初始化卷积核:滤除掉与数字无关的其他杂乱信息，指定核的大小，根据实际情况指定大小即可(这里根据卡片中数字的大小）
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9,3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))

# 读取输入图像，预处理
image = cv2.imread('')
cv_image('image', image)
image = mytils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray',gray)

# 礼帽操作，突出更明亮的区域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('tophat', tophat)

# 这里发现只用X发现比XY效果更好，所以这里只用了X轴梯度
gradX = cv2.Sobel(tophat, ddepth=cv2.CV32F, dx=1,dy=0,ksize=1) # ksize=1相当于用3*3
gradX = np.absolute(gradX)

(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype('uint8')

print(np.array(gradX).shape)
cv_show('gradX', gradX)

# 通过闭操作（先膨胀，再腐蚀），将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', gradX)
# THRESH_OTSU会自动寻找合适的阈值，适合双峰，需要把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)

# 再次闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)
cv_show('thresh',thresh)

# 计算轮廓
thresh_, threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETE_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0,0,255), 3)
cv_show('img', cur_img)

# 遍历轮廓
locs = []
for (i,c) in enumerate(cnts):
	# 计算矩形
	(x,y,w,h) = cv2.boundingRect(c)
	ar = w/float(h)
	
	# 选择合适的区域，根据实际任务来，这里的基本都是4个数字一组
	if ar > 2.5 and ar<4.0:
		if (w > 40 and w < 55) and (h>10 and h<20)：
			# 符合条件的留下来
			locs.append((x,y,w,h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x:x[0])

# 遍历每一个轮廓中的数字
output = []
for (i, (gX, gY, gW, gH)) in enumerate(locs):
	# 初始化
	groupOutput = []
	# 根据坐标提取每一组
	group = gray[gY-5:gY+gH+5, gX-5:gX+gW+5]
	cv_show('group', group)
	#预处理
	group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
	cv_show('group', group)
	# 计算每一组的轮廓
	group_, digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETE_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
	digitCnts = contours.sort_contours(digitCnts, method = 'left-to-right')[0]
	
	# 计算每一组中的每一个数值
	for c in digitCnts:
		# 找到当前数值的轮廓，resize到合适的大小
		(x,y,w,h) = cv2.boundingRect(c)
		roi = group[y:y+h, x:x+w]
		roi = cv2.resize(roi, (57, 88)) # 与上面保持一致
		cv_show('roi', roi)

		# 计算匹配得分
		scores = []
		# 在模板中计算每一个得分
		for (digit, digitROI) in digits.items():
			# 模板匹配
			result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)
			(_,score, _,_) = cv2.minMaxLoc(result)
			scores.append(score)
		# 得到最合适的数字
		groupOutput.append(str(np.argmax(scores)))
		
	# 画出来
	cv2.rectangle(image, (gX-5, gY-5), (gX + gW +5, gY + gH +5), (0,0,255), 1)
	cv2.putText(image, --.join(groupOutput), (gX,gY-15), cv2.FONT_HERSHEY_SIMPLT, 0.65, (0,0,255), 2)

	# 得到结果
	Output.extend(groupOutput)

# 打印结果
print('Credit Card Type:{}'.format(FIRST_NUMBER[output[0]]))
print('Credit Card #:{}'.format(''.join(output)))
cv2.imshow('Image',image)
cv2.waitKey(0)
cv2.destroyAllWindows()

4. 知识点总结

• 轮廓排序：根据各个轮廓的外界矩形的左上顶点坐标进行排序
• 轮廓筛选：筛选的原则自己设定，根据具体事例具体分析
• 模板匹配：遍历
• 标准的图像预处理、边缘检测、轮廓检测等步骤