openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读

OpenCV实战系列总目录

有任何问题欢迎在下面留言
本篇文章的代码运行界面均在Pycharm中进行
本篇文章配套的代码资源已经上传

上篇内容:
openCV实战-系列教程10:信用卡数字识别上(二值/灰度/礼帽/图像轮廓/模版匹配/sobel梯度/阈值/闭操作)项目实战、源码解读

4、输入数据处理

4.1 任务简述

对于模版,因为元素很简单,但是我们的信用卡背景很多,也就是存在很多干扰项
openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第1张图片
除了数字,上面的和下面的数字字母都是干扰项,所以信用卡的数据的处理没有模板简单,需要较多的预处理操作。指定后面需要的卷积核,之前的内容中,总是使用(3,3)的卷积核,我们可以根据实际任务进行调整:

# 初始化卷积核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))

4.2 数据读入

数据读入,resize图像大小,灰度处理,礼帽操作处理

# 读取输入图像,预处理
image = cv2.imread(args["image"])
cv_show('image', image)
image = myutils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray', gray)
# 礼帽操作,突出更明亮的区域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('tophat', tophat)
  1. 读入原始图像,打印原始图像
  2. resize原始图像,灰度处理,打印灰度图
  3. 礼帽操作,读进原来预设的卷积核,打印礼帽结果图

打印结果:

openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第2张图片 openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第3张图片 openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第4张图片

4.3 计算梯度:

gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
# ksize=-1相当于用3*3的
gradX = np.absolute(gradX)
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")
print(np.array(gradX).shape)
cv_show('gradX', gradX)

sobel算子、绝对值、归一化
打印结果:
openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第5张图片
这里本来是可以对gradX和gradY都计算一遍的,但是只计算水平方向结果就已经可以了。
如果对图像梯度不是很懂的,看这篇文章

4.4 两次闭操作+阈值:

为什么需要执行闭操作(膨胀腐蚀),阈值二值化处理,闭操作这几次操作?
因为我们需要将数字的这一块全圈出来
openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第6张图片
比如这四组数据,每一小组 [ 5412 ],都需要单独圈出来,让他更像一个块儿。

# 通过闭操作(先膨胀,再腐蚀)将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', gradX)
# THRESH_OTSU会自动寻找合适的阈值,适合双峰,需把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)
# 再来一个闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)  # 再来一个闭操作
cv_show('thresh', thresh)

分别是闭操作、打印图像、阈值、打印图像、闭操作、打印图像
打印结果:

openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第7张图片 openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第8张图片 openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第9张图片
这里的阈值指定为0,cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1],是为了搭配cv2.THRESH_OTSU函数,它比较擅长将图像中两种主体分离开来。

cv2.threshold函数有两个返回值,第一个是阈值,第二个是阈值处理后的图像,后面加上[1]就是数组中意思,只要阈值处理后的图像。

在最后的第二个图中,黑色是被我们处理掉的部分,白色是我们想要的区域。但是图二中,存在很多坑坑洼洼的部分,再来一次闭操作,消除这些孔。这个时候我们再去检测外轮廓,应该会更加准确一些。

5 轮廓检测

5.1 轮廓检测

threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3)
cv_show('img', cur_img)

openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第10张图片
分别是计算轮廓信息到threshCnts、换个变量名、深度复制一下、画出轮廓、打印图片
但是这个千万不要误解,这些个轮廓是上面一些列操作计算出来的,然后再去原始图像上画出这些轮廓的。
但是这个结果,很显然还是有问题的,因为只有4个轮廓是我们这个项目的任务需要的,其他的需要我们把它过滤掉。所以我们需要遍历所有轮廓,然后通过一系列方法筛选出我们需要的轮廓。

5.2 遍历所有轮廓

通过判断轮廓的长宽比来得到我们需要的轮廓,遍历所有轮廓,并且过滤出长宽比是在(2.5,4),长宽分别在(40,55)、(10,20)的轮廓放在locs 中

# 遍历轮廓
for (i, c) in enumerate(cnts):
    # 计算矩形
    (x, y, w, h) = cv2.boundingRect(c)
    ar = w / float(h)

    # 选择合适的区域,根据实际任务来,这里的基本都是四个数字一组
    if 2.5 < ar < 4.0:

        if (40 < w < 55) and (10 < h < 20):
            # 符合的留下来
            locs.append((x, y, w, h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x: x[0])
  1. i、c分别是轮廓的索引和信息
  2. 得到轮廓顶点坐标和长宽
  3. 计算长宽比例
  4. 筛选长宽比例(这个具体的值需要多试几次才知道,是试出来的)
  5. 筛选长、宽(一样是试出来的)
  6. 符合的保存下来
  7. 轮廓进行排序(比如第一个是5412)

6 模板匹配

6.1 遍历目标轮廓

首先我们需要将4个轮廓取出来,并且把四个轮廓里面数字的小轮廓全部取出来

output = []
for (i, (gX, gY, gW, gH)) in enumerate(locs):
    # initialize the list of group digits
    groupOutput = []

    # 根据坐标提取每一个组
    group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
    cv_show('group', group)
    # 预处理
    group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
    cv_show('group', group)
    # 计算每一组的轮廓
    digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0]
  1. (i, (gX, gY, gW, gH))轮廓索引、轮廓左上角顶点坐标和长宽
  2. 保存结果的数组
  3. 定位当前轮廓,+5和-5是自己实验的时候想着往上下左右调一点点啥的,不是固定流程
  4. 打印当前轮廓:
    在这里插入图片描述
    现在我们需要对当前轮廓再次进行轮廓检测,以获取每一个小轮廓,以及小轮廓里面的数字
  5. 获取轮廓需要二值处理
  6. 打印二值结果:
    在这里插入图片描述
  7. 检测轮廓
  8. 排序轮廓

6.2 模版匹配

现在我们得到了包含四个数字的四个轮廓,我们就需要对四个轮廓分别进行计算和匹配

6.2.1 遍历目标小轮廓

for c in digitCnts:
    # 找到当前数值的轮廓,resize成合适的的大小
    (x, y, w, h) = cv2.boundingRect(c)
    roi = group[y:y + h, x:x + w]
    roi = cv2.resize(roi, (57, 88))
    cv_show('roi', roi)

对四个轮廓进行遍历
计算外接矩形
获取外接矩形信息
resize
打印图像
在这里插入图片描述
现在我们就得到了四个轮廓的第一个轮廓对应图像,现在我们就需要知道怎么让计算机认识这个5呢,那就需要进行模版匹配了,把模版数据和这个数据安装指定方法进行比较,就能得到结果了。

6.2.2 模板匹配

# 计算匹配得分
scores = []

# 在模板中计算每一个得分
for (digit, digitROI) in digits.items():
    # 模板匹配
    result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)
    (_, score, _, _) = cv2.minMaxLoc(result)
    scores.append(score)

# 得到最合适的数字
groupOutput.append(str(np.argmax(scores)))
  • 保存10个模版的分数
  • 对10个模版进行遍历,digit即是索引也是标签,digitROI模版图像数据
  • cv2.matchTemplate模板匹配函数, cv2.TM_CCOEFF匹配方法(共6种),对模板匹配不熟悉看这篇文章,roi是我们前面打印的那个5,digitROI是当前遍历的模版数据
  • 得到四个返回值,我们只需要maxLoc,对模版匹配不清楚看前面那篇文章
  • 保存模版十个数的得分
  • for循环结束后,从这个所有得分中,取出最大的得分,放到我们的结果输出数组中

7 获取结果

已经计算出来了结果,把这些数字全部框出来,再打印出来最终的识别结果,并且把识别结果打印在原始图中

	# 画出来
	cv2.rectangle(image, (gX - 5, gY - 5), (gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
	cv2.putText(image, "".join(groupOutput), (gX, gY - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
# 得到结果
output.extend(groupOutput)
# 打印结果
print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
print("Credit Card #: {}".format("".join(output)))
cv2.imshow("Image", image)
cv2.waitKey(0)

代码逐行解读:

  • 1、在原始图像中,把四个目标轮廓的框画出来
  • 2、把识别出来的数画在框上面
  • 3、存储结果文本(这串卡号)
  • 4、打印信用卡类型结果,前面有匹配的字典
  • 5、打印信用卡卡号
  • 6、打印图像
  • 7、按任意键关闭图像窗口

Credit Card Type: MasterCard
Credit Card #: 5412751234567890

openCV实战-系列教程12:信用卡数字识别下(二值/灰度/礼帽/轮廓检测/轮廓遍历/轮廓排序/梯度计算/阈值处理/闭操作/sobel梯度/模版匹配)项目实战、源码解读_第11张图片
如果需要更换信用卡图像,就需要在配置运行参数哪里去改一下了

上篇内容:

openCV实战-系列教程10:信用卡数字识别上(二值/灰度/礼帽/图像轮廓/模版匹配/sobel梯度/阈值/闭操作)项目实战、源码解读

你可能感兴趣的:(openCV实战,opencv,人工智能,计算机视觉,图像处理,python)