python opencv + tesseract 实践

最近在项目中遇到关于字符识别的需求,所以写篇文章分享一下^_^

 1.识别流程综述

        首先,要识别的图像是只有表格数据区的像并且图像的位置需要正(这里的正是指图像要么偏90°要么就是完全摆正的.)

然后对于输入的图片按照表格的边界裁剪,裁剪出来的表格一定是一个单元格,这个单元格只包含数据.像下面这样的:

最后调用tesseract-ocr对这些小的单元格上的字符进行识别.

2.图像预处理部分

        我们需要先对输入的图像进行灰度处理,如果直接使用

                     image = cv2.imread(image_path)

函数读取的图像是有三个维度的,这个可以使用numpy中的

image.shape

属性看出来,正常的图片是三个维度,灰度图是有两个维度.(当图像被读取出来后就可以看作三维的矩阵)

         灰度处理还不够,因为cv2.findContour函数输入的图像必须是一个二值化的图像.所以需要调用

adaptive_binary = cv2.adaptiveThreshold(src_gray_image, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 11, 2)

和

ret, thresh = cv2.threshold(adaptive_binary, 127, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)

将图像转化为二值图,像下面这种

         在二值图的基础上调用

contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

函数找到图像上所有闭合的曲线.为了便于观察,我将所有的曲线都画在了图像上

所有闭合曲线情况

在这些曲线里面只有能正确截取数据单元格的曲线才是我们想要的,所以需要对这写曲线进行过滤.我采用的第一层过滤就是使用闭合曲线的面积,计算闭合曲线的面积可以使用

for cnt  in contours:

        area = cv2.contourArea(cnt)

      if area < threshold:

              continue

      else:

         x, y, w, h = cv2.boundingRect(cnt)    # x,y表示矩形框的左下角点坐标,w,h表示宽和高

函数, 通过面积过滤后剩下的矩形闭合曲线我画在下图:

过滤之后的矩形框

接下来就可以对给定的图像进行裁剪了,裁剪使用的方法很简单,把给定的图像看成一个二维的矩阵,只需要根据cv2.boundingRect输出的数据在矩阵里面截取子矩阵.

pice = src_image[(y + yoffset) : (y + w - yoffset), (x + xoffset) : (x + w - xoffset)]

然后使用tesseract-ocr对这些单元格进行识别,采用多进程

def distinguish(self, pice_list):

        pool = multiprocessing.Pool(processes = 4)

        for pice in pice_list:

              outfile = self.outdir + pice.split("/")[-1][:-4]

             conmand = 'tesseract ' + pice + ' '+ outfile + ' -psm 6 t_config'  # tesseract 图像位置 输出文件名称  参数

             pool.apply_async(os.system, (conmand,))

       pool.close()

       pool.join()

最后将输出文件按照裁剪顺序将内容读取出来拼接一下就能得到想要的结果了.^_^(第一次写,有错误的地方欢迎指出,轻喷~)