python识别并提取表格中的文字--Apple的学习笔记

此文为<提取图片中的直线实战--Apple的学习笔记>的后记。读者可以参考https://www.jianshu.com/p/b85667a4ef76
用到的python文字提取库pytesseract。用pip install pytesseract来安装，基于python3.6环境。
由于中文识别不太好，需要自己训练。所以我这个案例用的是识别英文。

一，需要识别的表格如下：

myplan.png

二，表格交点分析及代码实现策略

先需要确认交点，然后在ROI区域进行pytesseract的文字识别即可。

分析.png

三，遇到的困难

3.1交点没有识别出来。

主要是调整adaptiveThreshold和getStructuringElement的参数，使交点位置能正确的识别出。

3.2识别中文出错概率大。

原因是pytesseract软件的模型库需要自己训练再更新，由于训练不是我目前的重点，读者可以参考http://www.cnblogs.com/cnlian/p/5765871.html

my.png

四，Python代码如下:

import cv2
import numpy as np
import pytesseract

image = cv2.imread('myplan.png', 1)
#二值化
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
binary = cv2.adaptiveThreshold(~gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 35, -5)
#ret,binary = cv2.threshold(~gray, 127, 255, cv2.THRESH_BINARY)
cv2.imshow("cell", binary)
cv2.waitKey(0)

rows,cols=binary.shape
scale = 40
#识别横线
kernel  = cv2.getStructuringElement(cv2.MORPH_RECT,(cols//scale,1))
eroded = cv2.erode(binary,kernel,iterations = 1)
#cv2.imshow("Eroded Image",eroded)
dilatedcol = cv2.dilate(eroded,kernel,iterations = 1)
# cv2.imshow("Dilated Image",dilatedcol)
# cv2.waitKey(0)

#识别竖线
scale = 20
kernel = cv2.getStructuringElement(cv2.MORPH_RECT,(1,rows//scale))
eroded = cv2.erode(binary,kernel,iterations = 1)
dilatedrow = cv2.dilate(eroded,kernel,iterations = 1)
# cv2.imshow("Dilated Image",dilatedrow)
# cv2.waitKey(0)

#标识交点
bitwiseAnd = cv2.bitwise_and(dilatedcol,dilatedrow)
# cv2.imshow("bitwiseAnd Image",bitwiseAnd)
# cv2.waitKey(0)
# cv2.imwrite("my.png",bitwiseAnd)

#标识表格
# merge = cv2.add(dilatedcol,dilatedrow)
# cv2.imshow("add Image",merge)
# cv2.waitKey(0)

#识别黑白图中的白色点
ys,xs = np.where(bitwiseAnd>0)
mylisty=[]
mylistx=[]

#通过排序，获取跳变的x和y的值，说明是交点，否则交点会有好多像素值，我只取最后一点
i = 0
myxs=np.sort(xs)
for i in range(len(myxs)-1):
    if(myxs[i+1]-myxs[i]>60):
        mylistx.append(myxs[i])
    i=i+1
mylistx.append(myxs[i])
# print(mylistx)
# print(len(mylistx))

i = 0
myys=np.sort(ys)
#print(np.sort(ys))
for i in range(len(myys)-1):
    if(myys[i+1]-myys[i]>60):
        mylisty.append(myys[i])
    i=i+1
mylisty.append(myys[i])
# print(mylisty)
# print(len(mylisty))

i=0
for i in range(4):  #只有4行有效数字
    ROI = image[mylisty[i]:mylisty[i+1]-3,mylistx[1]:mylistx[2]-3] #减去3的原因是由于我缩小ROI范围
    cv2.imshow("add Image",ROI)
    cv2.waitKey(0)

    special_char_list = '`~!@#$%^&*()-_=+[]{}|\\;:‘’，。《》/？ˇ'
    pytesseract.pytesseract.tesseract_cmd = 'D://Program Files (x86)/Tesseract-OCR/tesseract.exe'
    text2 = pytesseract.image_to_string(ROI)  #读取文字，此为默认英文
    text2 = ''.join([char for char in text2 if char not in special_char_list])
    print(text2)
    i=i+1