opencv项目实践二(银行卡卡号识别)

任务说明

opencv项目实践二(银行卡卡号识别)_第1张图片
将银行卡卡号打印输出

实现

、思路
1、定位银行卡卡号数字区域
2、将银行卡每个卡号数字单独提取出来
3、处理模板图片,将每个模板数字单独提取出来
4、通过模板匹配来识别每个卡号

、具体代码实现
1、处理模板
卡号数字模板
opencv项目实践二(银行卡卡号识别)_第2张图片

# 读取模板图片
img_m = cv2.imread("ocr_a_reference.png",1)
img_m_g = cv2.cvtColor(img_m,cv2.COLOR_BGR2GRAY)
# 反二值化处理,常见的二值图像一般前景为白色,背景为黑色
img_m_g = cv2.threshold(img_m_g,0,255,cv2.THRESH_OTSU|cv2.THRESH_BINARY_INV)[1]
# 查找图像的轮廓
img_m_g_con = cv2.findContours(img_m_g,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
img_m_g_dst = cv2.drawContours(img_m.copy(),img_m_g_con,-1,(0,0,255),2)
imshow(img_m_g_dst)

opencv项目实践二(银行卡卡号识别)_第3张图片
将每个模板数字分割开,并保存到字典中

# 画模板图片的矩形包围盒
l1 = []
for con in img_m_g_con:
    (x,y,w,h) = cv2.boundingRect(con)
    l1.append(x)
    
# 将其包围盒按照x坐标排序,这样就得到了按序排列的0~9模板数字图片,
#(因为查找得到的模板是无序的,排序后可以确认每个模板对应的数字)
(img_m_g_con,l1) = zip(*sorted(zip(img_m_g_con,l1),key=lambda x :x[1],reverse=False))
# 将模板数字图像分割开
digits = {}
for i,con in enumerate(img_m_g_con):
    (x,y,w,h) = cv2.boundingRect(con)
    roi = img_m_g[y:y+h,x:x+w]
#     (57,88)为调整后的模板图像的大小,也可以设置为其他大小
    digits[i] = cv2.resize(roi,(57,88))
#     imshow(digits[i])
# 至此,从0到9的模板图像已经保存在了digits中,模板图像就处理完了。

2、处理银行卡图片

# 加载
img_card = cv2.imread("credit_card_01.png",1)
img_card_gray = cv2.cvtColor(img_card,cv2.COLOR_BGR2GRAY)

# 顶帽操作,原始图像-开运算图像,作用:提取噪音、高亮的区域。
kernel = np.ones((5,5))
tophat = cv2.morphologyEx(img_card_gray,cv2.MORPH_TOPHAT,kernel)
imshow(tophat)

opencv项目实践二(银行卡卡号识别)_第4张图片
求图像的梯度(边缘)的目的是方便之后的形态学操作,将目标区域连通在一起。

#求图像梯度
grady =  cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=0,dy=1,ksize = 3)
# Sobel计算出来的像素值类似为float,需要将其规范到(0~255),并且将其格式转为Uint8
grady = cv2.convertScaleAbs(grady)
# imshow(grady)
gradx = cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=1,dy=0,ksize=3)
gradx = cv2.convertScaleAbs(gradx)
# imshow(gradx) 
# 将X方向的梯度和Y方向的梯度融合。
# 只用单方向梯度也可以达到目的
grad = cv2.addWeighted(gradx,0.5,grady,0.5,0)
imshow(grad)
#使用Canny边缘检测,也可以得到类似的效果

opencv项目实践二(银行卡卡号识别)_第5张图片
形态学操作,将目标区域连通在一起

# 接下来执行闭操作(先腐蚀后膨胀)一是为了去除一些白色小点噪音,二是将单独的数字给连接成一个小区域
kernel = np.ones((3,3))
grad_close = cv2.morphologyEx(grad,cv2.MORPH_CLOSE,kernel,iterations = 1)
imshow(grad_close)
grad_dst = cv2.threshold(grad_close,0,255,cv2.THRESH_OTSU)[1]
# imshow(grad_dst)
# 注意到第三个区域还没有连通,继续进行闭操作
grad_close = cv2.morphologyEx(grad_dst,cv2.MORPH_CLOSE,kernel,iterations=8)
imshow(grad_close)

闭操作执行的次数和银行卡的格式是严格相关的,不同格式的银行卡要设置不用的参数,参数值通过实验经验获得。
其主要目的是将目标区域联通在一起,并且要求连通后的区域不可以包含额外区域,比如参数设置过大会导致左侧目标区域与下方区域连通,设置过小会导致目标区域无法连通。
opencv项目实践二(银行卡卡号识别)_第6张图片

# 目标区域已经完全连通,接下来进行轮廓检测,画包围盒,然后再进行筛选
gradcon = cv2.findContours(grad_close,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
dst = cv2.drawContours(img_card.copy(),gradcon,-1,(0,0,255),2)
imshow(dst)
# 筛选合适的轮廓,筛选参数值是通过经验获取的,可以将各个轮廓的w,h打印后观察。
losc = []
for con in gradcon:
    (x,y,w,h) = cv2.boundingRect(con)
    ar = w/h
    #print(x,y,w,h)
    if ar >2.4 and ar <3.5: 
        if w>155 or w<85:
            continue 
        losc.append((x,y,w,h))
# 对矩形包围框按照坐标进行排序,排序目的和前面对模板数字图片的排序目的相同。
sort_losc = sorted(losc,key = lambda x :x[0],reverse=False)
# 排序后的包围盒顺序
# for i in sort_losc:
#     x,y,w,h = i[0],i[1],i[2],i[3]
#     con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
#     dst = cv2.drawContours(img_card.copy(),con,-1,(0,0,255),2)
#     imshow(dst)
# 得到了每个目标的包围框,然后把包围框包围的区域截取出一下
img_part = []
for i in sort_losc:
    x,y,w,h = i[0],i[1],i[2],i[3]
    con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
    img_part.append(img_card[y:y+h,x:x+w])
    imshow(img_card[y:y+h,x:x+w])

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
再对每个小区域处理,获取每个卡号数字区域

# 接下来获取每个数字。
digital = []
def f(img):
    img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    img_2 = cv2.threshold(img_gray,0,255,cv2.THRESH_OTSU)[1]
#    获取轮廓可以进行先Canny检测,再画轮廓,也可以之前求梯度的方法
#    在这里可以直接进行轮廓查找,因为我们需要查找的是每个数字的轮廓,每个数字都是连通的
    imgcon = cv2.findContours(img_2,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
    new_con = []
    #筛选
    for con in imgcon:
        (x,y,w,h) = cv2.boundingRect(con) 
        if h>35 or w<15:
            continue
        new_con.append((x,y,w,h))
    #排序,目的和前面的类似
    sort_con = sorted(new_con,key = lambda x:x[0]) 
    for i in sort_con:
        x,y,w,h = i[0],i[1],i[2],i[3]
        con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
        roi = img_2[y-1:y+h+1,x-1:x+w+1]
        #注意数字图片区域和模板图片区域要大小要保持一致
        digital.append(cv2.resize(roi,(57,88)))
for i in img_part:
    f(i)
# for i in digital:
#     imshow(i)

opencv项目实践二(银行卡卡号识别)_第7张图片opencv项目实践二(银行卡卡号识别)_第8张图片opencv项目实践二(银行卡卡号识别)_第9张图片opencv项目实践二(银行卡卡号识别)_第10张图片

3、模板匹配

# 接下来进行模板匹配
ans = []
for img_dig in digital:
    now = []
    for (dig,digroi) in digits.items():
        res = cv2.matchTemplate(img_dig,digroi,cv2.TM_CCOEFF_NORMED)
        now.append(res.item()) 
    ans.append(now.index(max(now)))
    now.clear()
print(ans)

opencv项目实践二(银行卡卡号识别)_第11张图片

cv2.matchTemplate是用于模板匹配的函数,第一个参数为待匹配图像,第二个参数为模板图像,模板图像和原图像的大小要保持一致,第三个参数为匹配方式。返回值越大,相似度越高。

存在的问题:
1、不同格式的银行卡图片需要对参数进行幅度较大的改动。
2、没有考虑银行卡图片倾斜的情况,如果输入的银行卡图片在输入的图片中只是倾斜的,可以使用透视变换进行校正,具体做法可以参考上一篇blog(答题卡识别)

你可能感兴趣的:(Python基础,OpenCV,opencv,计算机视觉,python)