OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别

文章目录

  • 简介
  • 总结
    • 1.介绍
    • 2. 流程
    • 3. 程序
    • 4. 知识点总结

简介

本节为《OpenCV计算机视觉实战(Python)》版第9讲,项目实战:信用卡数字识别,的总结。

总结

1.介绍

从一个银行卡中识别其中的银行卡号:
OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第1张图片

2. 流程

首先,创建模板图像,对模板进行边缘检测、轮廓检测,得到10个数字分别对应的模板。 模板图像包括0-9共10个数,在匹配的时候,分别提取10个模板,将输入的图像中的数分别与模板图像做匹配,得到最小误差的模板,即为该图像的数字;

模板:OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第2张图片
预处理:
在这里插入图片描述
轮廓检测:
OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第3张图片

接着,输入图像(银行卡),灰度图,二值化(轮廓检测的输入均为二值图像),预处理(顶帽,SobelX滤波,闭操作*2),轮廓检测(只检测外轮廓),轮廓近似(外接矩形近似,然后根据长宽比滤除不合适的对象。长宽比例不属于数字规范的,滤除掉,剩下的即为包含数字的模块)。

原图:
OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第4张图片
各种处理:(使轮廓检测的结果更准确)
OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第5张图片
检测的结果: 按照长宽比过滤到不包含数字的区域,只剩下4个区域
OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第6张图片

得到含有数字的模块后,分别对每一个模板,提取其中的每一个数字(二值化,边界,轮廓),然后将每一个数字与模板集进行匹配,得到最终的输出。

模块:
在这里插入图片描述
提取每一个小数字:
在这里插入图片描述
检测的最终结果: 识别出每一个数字时什么
OpenCV计算机视觉实战(Python)| 9、项目实战:信用卡数字识别_第7张图片

3. 程序

def cv_show(name, img):
	cv2.imshow(name, img)
	cv2.waitKey(0)
	cv2.destroyAllWindows()

# 读入图像
img = cv2.imread('')
cv_imshow('img', img)

# 灰度图
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv_show('ref', ref)

# 二值图像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
cv_show('ref', ref)

# 计算 轮廓
ref_, refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETE_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 只检测外轮廓,保留坐标点

# 绘制轮廓
cv2.drawContours(img, refCntss, -1, (0,0,255), 3)
CV_show('img', img)
print(np.array(refCnts).shape)

# 对轮廓进行排序:只考虑外轮廓的左上顶点的坐标值
refCnts = myutils.sort_contours(refCnts, method='left-to-right')[0]
digits = {}

# 遍历每一个轮廓
for (i,c) in enumerate(refCnts):
	# 计算外接矩形并且resize
	(x,y,w,h) = cv2.boundingRect(c)
	roi = ref[y:y+h, x:x+w)
	roi = cv2.resize(roi, (57, 88))

	# 计算每一个数字对应的模板
	digitsp[i] = roi

# 初始化卷积核:滤除掉与数字无关的其他杂乱信息,指定核的大小,根据实际情况指定大小即可(这里根据卡片中数字的大小)
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9,3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))

# 读取输入图像,预处理
image = cv2.imread('')
cv_image('image', image)
image = mytils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray',gray)

# 礼帽操作,突出更明亮的区域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('tophat', tophat)

# 这里发现只用X发现比XY效果更好,所以这里只用了X轴梯度
gradX = cv2.Sobel(tophat, ddepth=cv2.CV32F, dx=1,dy=0,ksize=1) # ksize=1相当于用3*3
gradX = np.absolute(gradX)

(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype('uint8')

print(np.array(gradX).shape)
cv_show('gradX', gradX)

# 通过闭操作(先膨胀,再腐蚀),将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', gradX)
# THRESH_OTSU会自动寻找合适的阈值,适合双峰,需要把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)

# 再次闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)
cv_show('thresh',thresh)

# 计算轮廓
thresh_, threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETE_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0,0,255), 3)
cv_show('img', cur_img)

# 遍历轮廓
locs = []
for (i,c) in enumerate(cnts):
	# 计算矩形
	(x,y,w,h) = cv2.boundingRect(c)
	ar = w/float(h)
	
	# 选择合适的区域,根据实际任务来,这里的基本都是4个数字一组
	if ar > 2.5 and ar<4.0:
		if (w > 40 and w < 55) and (h>10 and h<20)# 符合条件的留下来
			locs.append((x,y,w,h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x:x[0])

# 遍历每一个轮廓中的数字
output = []
for (i, (gX, gY, gW, gH)) in enumerate(locs):
	# 初始化
	groupOutput = []
	# 根据坐标提取每一组
	group = gray[gY-5:gY+gH+5, gX-5:gX+gW+5]
	cv_show('group', group)
	#预处理
	group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
	cv_show('group', group)
	# 计算每一组的轮廓
	group_, digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETE_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
	digitCnts = contours.sort_contours(digitCnts, method = 'left-to-right')[0]
	
	# 计算每一组中的每一个数值
	for c in digitCnts:
		# 找到当前数值的轮廓,resize到合适的大小
		(x,y,w,h) = cv2.boundingRect(c)
		roi = group[y:y+h, x:x+w]
		roi = cv2.resize(roi, (57, 88)) # 与上面保持一致
		cv_show('roi', roi)

		# 计算匹配得分
		scores = []
		# 在模板中计算每一个得分
		for (digit, digitROI) in digits.items():
			# 模板匹配
			result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)
			(_,score, _,_) = cv2.minMaxLoc(result)
			scores.append(score)
		# 得到最合适的数字
		groupOutput.append(str(np.argmax(scores)))
		
	# 画出来
	cv2.rectangle(image, (gX-5, gY-5), (gX + gW +5, gY + gH +5), (0,0,255), 1)
	cv2.putText(image, --.join(groupOutput), (gX,gY-15), cv2.FONT_HERSHEY_SIMPLT, 0.65, (0,0,255), 2)

	# 得到结果
	Output.extend(groupOutput)

# 打印结果
print('Credit Card Type:{}'.format(FIRST_NUMBER[output[0]]))
print('Credit Card #:{}'.format(''.join(output)))
cv2.imshow('Image',image)
cv2.waitKey(0)
cv2.destroyAllWindows()

4. 知识点总结

  • 轮廓排序:根据各个轮廓的外界矩形的左上顶点坐标进行排序
  • 轮廓筛选:筛选的原则自己设定,根据具体事例具体分析
  • 模板匹配:遍历
  • 标准的图像预处理、边缘检测、轮廓检测等步骤

你可能感兴趣的:(OpenCV,Computer,Vision)