图像文本识别

前言

• 我在过去的两三个月实现了护照的图像文字识别，回顾起来，网上虽有一部分身份证识别、银行卡识别的例子，但实际做起来，会有很多问题。踩了一些坑，花点时间总结一下。

方案

• 当前OCR(Optical Character Recognition)有两种模式，一种是传统的模式识别，另外一种机器学习的神经网络。可以自己研发，也可以使用开源引擎。
• 这里介绍谷歌的tesseract-ocr引擎，目前（2017年5月），最新版为4.0，还处于alpha版本，使用的是神经网络，还有3.0x,使用的是传统的模式识别，识别正确率上4.0的要高一些，但3.0x的可能会快一些，目前大部分用的还是3.0x。国内一些专业做图像识别的公司用的是自己研发的引擎。
  不管用哪种，都可以。

预备知识

OpenCV：需要用到一些图像处理算法，可以买一本相关入门书籍看一看，大部分算法都会用上，需要了解各种算法的大致远离。
机器学习：非必要项，但是如果了解机器学习的训练过程，也能用到这边的开发中，比如对样本做各种处理，来增加测试用例。

流程

1. 获取图像
2. 图像预处理
3. 引擎识别
4. 用先验知识校正

获取图像

• 拍照方式

单次拍照：好处是对用户操作要求低，速度快，没有任何校验，按下快门即可，缺点是对图片质量没有校验，质量不达标，得返回重新拍摄。这种方式也可以简单校验。
实时视频流：实时识别视频流，待对识别结果有一定把握时人工确认或自动确认，好处是不做无用功，可以实时查看识别效果，满意后确认。缺点是用时较长，但这个时间实际包含了识别结果校验的时间。

• 裁剪方式

设定目标区域人工对准裁剪：大部分实现采用这种方式，但是如果是选中一张图像进行识别时，就没有这一步了。
全自动识别目标区域并裁剪：这种方式是操作简单，使目标出现在取景框中，保持较大比例即可。缺点是对拍摄环境要求比较高，需要保持背景和前景分明。

图像预处理

• 证件类型分类

通过识别不同证件的特征来区分。这里就要说一说定位，定位是通过矩形实现的，图像经过处理之后，得到黑色像素的外接矩形，然后根据矩形在全局的相对位置和本身的宽度高度来判断是什么内容。

• 兴趣区域定位

• 灰度化、二值化、腐蚀、计算矩形区域，这是标准步骤，经过尝试，这样的效果并不好，用户拍照环境千差万别，亮度不均等，导致最后二值化出来的图形不完整：

• 先通过三次不同阀值，且针对不同种类的护照设置不同的阀值，结果在训练样本测试集上效果还行，但到实际环境中效果太差，很难定位；
  

• 通过自适应阀值，这样只需一次，但是得到的二值化图像有噪点，通过膨胀消除噪点，然后再次腐蚀，取得比较好的效果；
  

• 再通过指定大致的兴趣区域，避免无意义的图像处理，提高效率；
  

• 经过上面处理得到的图像因为拍摄的原因，有一定的倾斜角度，经过算法（霍夫变换）计算角度，再旋转，得到水平的图像；
  

• 对水平的图像再度优化处理，去掉上下左右的白色像素区域，得到最优图像位置；
  

• 中文

中文需要拆成单个字放入引擎，这样识别效果比较好，避免单个汉字被识别成多个，例如“明月”，会被识别为“日月月”，单个汉字的的图像就能强制标注为单字，就不会被拆分。

• 英文

英文最好使用整行输入识别，拆成单个字符反而识别率会下降。

• 其它

在图像预处理过程，唯一的目标就是要得到清晰的黑白文字图像，不要多余的空白像素，也不要缺失像素，不要倾斜，不要颜色太深，也不要太淡。处理出来的质量越高，识别准确率越高。

引擎识别

• 因为引擎是第三方的，能做的工作不多，但做了，对识别率的提升也很有帮助。为提高识别率，对不同的内容设定不同的白名单黑名单，设定不同的识别模式。
• 围绕黑名单、白名单、语言模式可以做文章。例如使用简体中文引擎也能识别英文和数字，但识别率是不如英文引擎的。

先验知识校正

这一步其实很重要，前面都是硬碰硬，识别出什么就是什么，在最后输出之前，其实还可以大幅提高准确率。

• 校验码 很多证件都有校验码设计，针对一些容易出错的，如MHW这三个字母就容易出错，有了校验码就能纠错。
• 冗余信息 很多证件都有冗余信息，可以对照互相纠错
• 可枚举数据 有些数据项可能性是有限的，比如省份，可以在识别时设置白名单，然后将结果与枚举值比较，最接近的一般就是正确结果。

经过这些工作，识别率比直接识别会有很大提高，接近实用水准。具体在开发过程中还有很多小算法，目的都是提高图像质量，提取冗余信息。