openCV实战-系列教程12：信用卡数字识别下（二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配）项目实战、源码解读

OpenCV实战系列总目录

有任何问题欢迎在下面留言
本篇文章的代码运行界面均在Pycharm中进行
本篇文章配套的代码资源已经上传

上篇内容：
openCV实战-系列教程10：信用卡数字识别上（二值/灰度/礼帽/图像轮廓/模版匹配/sobel梯度/阈值/闭操作）项目实战、源码解读

4、输入数据处理

4.1 任务简述

对于模版，因为元素很简单，但是我们的信用卡背景很多，也就是存在很多干扰项

除了数字，上面的和下面的数字字母都是干扰项，所以信用卡的数据的处理没有模板简单，需要较多的预处理操作。指定后面需要的卷积核，之前的内容中，总是使用（3,3）的卷积核，我们可以根据实际任务进行调整：

# 初始化卷积核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))

4.2 数据读入

数据读入，resize图像大小，灰度处理，礼帽操作处理

# 读取输入图像，预处理
image = cv2.imread(args["image"])
cv_show('image', image)
image = myutils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray', gray)
# 礼帽操作，突出更明亮的区域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('tophat', tophat)

1. 读入原始图像，打印原始图像
2. resize原始图像，灰度处理，打印灰度图
3. 礼帽操作，读进原来预设的卷积核，打印礼帽结果图

打印结果：

4.3 计算梯度：

gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
# ksize=-1相当于用3*3的
gradX = np.absolute(gradX)
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")
print(np.array(gradX).shape)
cv_show('gradX', gradX)

sobel算子、绝对值、归一化
打印结果：

这里本来是可以对gradX和gradY都计算一遍的，但是只计算水平方向结果就已经可以了。
如果对图像梯度不是很懂的，看这篇文章

4.4 两次闭操作+阈值：

为什么需要执行闭操作（膨胀腐蚀），阈值二值化处理，闭操作这几次操作？
因为我们需要将数字的这一块全圈出来

比如这四组数据，每一小组 [ 5412 ]，都需要单独圈出来，让他更像一个块儿。

# 通过闭操作（先膨胀，再腐蚀）将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', gradX)
# THRESH_OTSU会自动寻找合适的阈值，适合双峰，需把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)
# 再来一个闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)  # 再来一个闭操作
cv_show('thresh', thresh)

分别是闭操作、打印图像、阈值、打印图像、闭操作、打印图像
打印结果：

这里的阈值指定为0，cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]，是为了搭配cv2.THRESH_OTSU函数，它比较擅长将图像中两种主体分离开来。

cv2.threshold函数有两个返回值，第一个是阈值，第二个是阈值处理后的图像，后面加上[1]就是数组中意思，只要阈值处理后的图像。

在最后的第二个图中，黑色是被我们处理掉的部分，白色是我们想要的区域。但是图二中，存在很多坑坑洼洼的部分，再来一次闭操作，消除这些孔。这个时候我们再去检测外轮廓，应该会更加准确一些。

5 轮廓检测

5.1 轮廓检测

threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3)
cv_show('img', cur_img)

分别是计算轮廓信息到threshCnts、换个变量名、深度复制一下、画出轮廓、打印图片
但是这个千万不要误解，这些个轮廓是上面一些列操作计算出来的，然后再去原始图像上画出这些轮廓的。
但是这个结果，很显然还是有问题的，因为只有4个轮廓是我们这个项目的任务需要的，其他的需要我们把它过滤掉。所以我们需要遍历所有轮廓，然后通过一系列方法筛选出我们需要的轮廓。

5.2 遍历所有轮廓

通过判断轮廓的长宽比来得到我们需要的轮廓，遍历所有轮廓，并且过滤出长宽比是在（2.5，4），长宽分别在（40,55）、（10,20）的轮廓放在locs 中

# 遍历轮廓
for (i, c) in enumerate(cnts):
    # 计算矩形
    (x, y, w, h) = cv2.boundingRect(c)
    ar = w / float(h)

    # 选择合适的区域，根据实际任务来，这里的基本都是四个数字一组
    if 2.5 < ar < 4.0:

        if (40 < w < 55) and (10 < h < 20):
            # 符合的留下来
            locs.append((x, y, w, h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x: x[0])

1. i、c分别是轮廓的索引和信息
2. 得到轮廓顶点坐标和长宽
3. 计算长宽比例
4. 筛选长宽比例（这个具体的值需要多试几次才知道，是试出来的）
5. 筛选长、宽（一样是试出来的）
6. 符合的保存下来
7. 轮廓进行排序（比如第一个是5412）

6 模板匹配

6.1 遍历目标轮廓

首先我们需要将4个轮廓取出来，并且把四个轮廓里面数字的小轮廓全部取出来

output = []
for (i, (gX, gY, gW, gH)) in enumerate(locs):
    # initialize the list of group digits
    groupOutput = []

    # 根据坐标提取每一个组
    group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
    cv_show('group', group)
    # 预处理
    group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
    cv_show('group', group)
    # 计算每一组的轮廓
    digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0]

1. (i, (gX, gY, gW, gH))轮廓索引、轮廓左上角顶点坐标和长宽
2. 保存结果的数组
3. 定位当前轮廓，+5和-5是自己实验的时候想着往上下左右调一点点啥的，不是固定流程
4. 打印当前轮廓：
   
   现在我们需要对当前轮廓再次进行轮廓检测，以获取每一个小轮廓，以及小轮廓里面的数字
5. 获取轮廓需要二值处理
6. 打印二值结果：
   
7. 检测轮廓
8. 排序轮廓

6.2 模版匹配

现在我们得到了包含四个数字的四个轮廓，我们就需要对四个轮廓分别进行计算和匹配

6.2.1 遍历目标小轮廓

for c in digitCnts:
    # 找到当前数值的轮廓，resize成合适的的大小
    (x, y, w, h) = cv2.boundingRect(c)
    roi = group[y:y + h, x:x + w]
    roi = cv2.resize(roi, (57, 88))
    cv_show('roi', roi)

对四个轮廓进行遍历
计算外接矩形
获取外接矩形信息
resize
打印图像

现在我们就得到了四个轮廓的第一个轮廓对应图像，现在我们就需要知道怎么让计算机认识这个5呢，那就需要进行模版匹配了，把模版数据和这个数据安装指定方法进行比较，就能得到结果了。

6.2.2 模板匹配

# 计算匹配得分
scores = []

# 在模板中计算每一个得分
for (digit, digitROI) in digits.items():
    # 模板匹配
    result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)
    (_, score, _, _) = cv2.minMaxLoc(result)
    scores.append(score)

# 得到最合适的数字
groupOutput.append(str(np.argmax(scores)))

• 保存10个模版的分数
• 对10个模版进行遍历，digit即是索引也是标签，digitROI模版图像数据
• cv2.matchTemplate模板匹配函数， cv2.TM_CCOEFF匹配方法（共6种），对模板匹配不熟悉看这篇文章，roi是我们前面打印的那个5，digitROI是当前遍历的模版数据
• 得到四个返回值，我们只需要maxLoc，对模版匹配不清楚看前面那篇文章
• 保存模版十个数的得分
• for循环结束后，从这个所有得分中，取出最大的得分，放到我们的结果输出数组中

7 获取结果

已经计算出来了结果，把这些数字全部框出来，再打印出来最终的识别结果，并且把识别结果打印在原始图中

	# 画出来
	cv2.rectangle(image, (gX - 5, gY - 5), (gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
	cv2.putText(image, "".join(groupOutput), (gX, gY - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
# 得到结果
output.extend(groupOutput)
# 打印结果
print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
print("Credit Card #: {}".format("".join(output)))
cv2.imshow("Image", image)
cv2.waitKey(0)

代码逐行解读：

• 1、在原始图像中，把四个目标轮廓的框画出来
• 2、把识别出来的数画在框上面
• 3、存储结果文本（这串卡号）
• 4、打印信用卡类型结果，前面有匹配的字典
• 5、打印信用卡卡号
• 6、打印图像
• 7、按任意键关闭图像窗口

Credit Card Type: MasterCard
Credit Card #: 5412751234567890

如果需要更换信用卡图像，就需要在配置运行参数哪里去改一下了

上篇内容：

openCV实战-系列教程10：信用卡数字识别上（二值/灰度/礼帽/图像轮廓/模版匹配/sobel梯度/阈值/闭操作）项目实战、源码解读