opencv项目实践二（银行卡卡号识别）

任务说明

将银行卡卡号打印输出

实现

一、思路
1、定位银行卡卡号数字区域
2、将银行卡每个卡号数字单独提取出来
3、处理模板图片，将每个模板数字单独提取出来
4、通过模板匹配来识别每个卡号

二、具体代码实现
1、处理模板
卡号数字模板

# 读取模板图片
img_m = cv2.imread("ocr_a_reference.png",1)
img_m_g = cv2.cvtColor(img_m,cv2.COLOR_BGR2GRAY)
# 反二值化处理，常见的二值图像一般前景为白色，背景为黑色
img_m_g = cv2.threshold(img_m_g,0,255,cv2.THRESH_OTSU|cv2.THRESH_BINARY_INV)[1]
# 查找图像的轮廓
img_m_g_con = cv2.findContours(img_m_g,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
img_m_g_dst = cv2.drawContours(img_m.copy(),img_m_g_con,-1,(0,0,255),2)
imshow(img_m_g_dst)

将每个模板数字分割开，并保存到字典中

# 画模板图片的矩形包围盒
l1 = []
for con in img_m_g_con:
    (x,y,w,h) = cv2.boundingRect(con)
    l1.append(x)
    
# 将其包围盒按照x坐标排序，这样就得到了按序排列的0~9模板数字图片，
#（因为查找得到的模板是无序的，排序后可以确认每个模板对应的数字）
(img_m_g_con,l1) = zip(*sorted(zip(img_m_g_con,l1),key=lambda x :x[1],reverse=False))
# 将模板数字图像分割开
digits = {}
for i,con in enumerate(img_m_g_con):
    (x,y,w,h) = cv2.boundingRect(con)
    roi = img_m_g[y:y+h,x:x+w]
#     （57，88）为调整后的模板图像的大小，也可以设置为其他大小
    digits[i] = cv2.resize(roi,(57,88))
#     imshow(digits[i])
# 至此，从0到9的模板图像已经保存在了digits中，模板图像就处理完了。

2、处理银行卡图片

# 加载
img_card = cv2.imread("credit_card_01.png",1)
img_card_gray = cv2.cvtColor(img_card,cv2.COLOR_BGR2GRAY)

# 顶帽操作，原始图像-开运算图像，作用：提取噪音、高亮的区域。
kernel = np.ones((5,5))
tophat = cv2.morphologyEx(img_card_gray,cv2.MORPH_TOPHAT,kernel)
imshow(tophat)

求图像的梯度（边缘）的目的是方便之后的形态学操作，将目标区域连通在一起。

#求图像梯度
grady =  cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=0,dy=1,ksize = 3)
# Sobel计算出来的像素值类似为float，需要将其规范到(0~255),并且将其格式转为Uint8
grady = cv2.convertScaleAbs(grady)
# imshow(grady)
gradx = cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=1,dy=0,ksize=3)
gradx = cv2.convertScaleAbs(gradx)
# imshow(gradx) 
# 将X方向的梯度和Y方向的梯度融合。
# 只用单方向梯度也可以达到目的
grad = cv2.addWeighted(gradx,0.5,grady,0.5,0)
imshow(grad)
#使用Canny边缘检测，也可以得到类似的效果

形态学操作，将目标区域连通在一起

# 接下来执行闭操作（先腐蚀后膨胀）一是为了去除一些白色小点噪音，二是将单独的数字给连接成一个小区域
kernel = np.ones((3,3))
grad_close = cv2.morphologyEx(grad,cv2.MORPH_CLOSE,kernel,iterations = 1)
imshow(grad_close)
grad_dst = cv2.threshold(grad_close,0,255,cv2.THRESH_OTSU)[1]
# imshow(grad_dst)
# 注意到第三个区域还没有连通，继续进行闭操作
grad_close = cv2.morphologyEx(grad_dst,cv2.MORPH_CLOSE,kernel,iterations=8)
imshow(grad_close)

闭操作执行的次数和银行卡的格式是严格相关的，不同格式的银行卡要设置不用的参数，参数值通过实验经验获得。
其主要目的是将目标区域联通在一起，并且要求连通后的区域不可以包含额外区域，比如参数设置过大会导致左侧目标区域与下方区域连通，设置过小会导致目标区域无法连通。

# 目标区域已经完全连通，接下来进行轮廓检测，画包围盒，然后再进行筛选
gradcon = cv2.findContours(grad_close,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
dst = cv2.drawContours(img_card.copy(),gradcon,-1,(0,0,255),2)
imshow(dst)
# 筛选合适的轮廓，筛选参数值是通过经验获取的，可以将各个轮廓的w,h打印后观察。
losc = []
for con in gradcon:
    (x,y,w,h) = cv2.boundingRect(con)
    ar = w/h
    #print(x,y,w,h)
    if ar >2.4 and ar <3.5: 
        if w>155 or w<85:
            continue 
        losc.append((x,y,w,h))

# 对矩形包围框按照坐标进行排序，排序目的和前面对模板数字图片的排序目的相同。
sort_losc = sorted(losc,key = lambda x :x[0],reverse=False)
# 排序后的包围盒顺序
# for i in sort_losc:
#     x,y,w,h = i[0],i[1],i[2],i[3]
#     con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
#     dst = cv2.drawContours(img_card.copy(),con,-1,(0,0,255),2)
#     imshow(dst)

# 得到了每个目标的包围框，然后把包围框包围的区域截取出一下
img_part = []
for i in sort_losc:
    x,y,w,h = i[0],i[1],i[2],i[3]
    con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
    img_part.append(img_card[y:y+h,x:x+w])
    imshow(img_card[y:y+h,x:x+w])

再对每个小区域处理，获取每个卡号数字区域

# 接下来获取每个数字。
digital = []
def f(img):
    img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    img_2 = cv2.threshold(img_gray,0,255,cv2.THRESH_OTSU)[1]
#    获取轮廓可以进行先Canny检测，再画轮廓，也可以之前求梯度的方法
#    在这里可以直接进行轮廓查找，因为我们需要查找的是每个数字的轮廓，每个数字都是连通的
    imgcon = cv2.findContours(img_2,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
    new_con = []
    #筛选
    for con in imgcon:
        (x,y,w,h) = cv2.boundingRect(con) 
        if h>35 or w<15:
            continue
        new_con.append((x,y,w,h))
    #排序，目的和前面的类似
    sort_con = sorted(new_con,key = lambda x:x[0]) 
    for i in sort_con:
        x,y,w,h = i[0],i[1],i[2],i[3]
        con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
        roi = img_2[y-1:y+h+1,x-1:x+w+1]
        #注意数字图片区域和模板图片区域要大小要保持一致
        digital.append(cv2.resize(roi,(57,88)))
for i in img_part:
    f(i)
# for i in digital:
#     imshow(i)

…

3、模板匹配

# 接下来进行模板匹配
ans = []
for img_dig in digital:
    now = []
    for (dig,digroi) in digits.items():
        res = cv2.matchTemplate(img_dig,digroi,cv2.TM_CCOEFF_NORMED)
        now.append(res.item()) 
    ans.append(now.index(max(now)))
    now.clear()
print(ans)

cv2.matchTemplate是用于模板匹配的函数，第一个参数为待匹配图像，第二个参数为模板图像，模板图像和原图像的大小要保持一致，第三个参数为匹配方式。返回值越大，相似度越高。

存在的问题：
1、不同格式的银行卡图片需要对参数进行幅度较大的改动。
2、没有考虑银行卡图片倾斜的情况，如果输入的银行卡图片在输入的图片中只是倾斜的，可以使用透视变换进行校正，具体做法可以参考上一篇blog（答题卡识别）