从零搭建一个OCR项目

凡对本文有任何疑惑可加QQ群交流：1081332609

图片文字识别是AI的一个重要应用场景，主要应用在证件识别、票据识别、验证码识别等场景，文字识别过程一般由图像输入、预处理、文本检测、文本识别、结果输出等环节组成。

OCR过程

本文主要将从零搭建一个基于CTPN+CRNN+CTC的OCR项目，最终再用tfserving进行服务的部署，完成工业服务端的构建。github地址：https://github.com/lvjianjin/ocr

训练数据准备

本项目提供了对于阿拉伯数字、英文、中文数据集的生成或处理方法。

本人已实现了训练样本生成的一个方法create.py，能够自动生成训练所需的带有噪点数字训练图片样本（若想生成其他字符，例如英文可对DIGITS进行扩充即可），生成的图片如下所示（注意先创建三个文件夹用来存放图片否则会报错）。

阿拉伯数字训练图片

对于tensorflow而言，官方推荐的数据集格式为tfrecord形式，这里只需运行相应地tfrecord_save.py即可在项目./dataset/tfrecord/文件夹下生成对映tfrecord文件，至此训练数据集准备完毕。（对于其它下载的数据集，例如英文、中文，本人也提供了对映生产tfrecord的方法，详情见项目）

模型训练

在模型选择上，这里我将采用华中科技大学的白翔老师的CRNN模型。该模型通过CNN将图片的特征提取出来后，再采用RNN对所提取出来的序列特征进行预测，最后通过一个CTC的翻译层得到最终结果。具体的前向传播可参见inference_crnn_ctc.py的代码。

模型结构

要执行训练只需运行train.py即可，训练过程中可通过启动TensorBoard，运行tensorboard --logdir=./logs/number_10对训练过程进行监视，经过100k个batch后准确率就达到了90%+了，结果文件保存在./output/number_10/文件夹下。

TensorBoard:accuracy

服务端部署

在生产层级的应用上，一般以tfserving的方式来构建服务端（相对于用web框架的方式构建，具有更强的并发能力及处理速度）。但是，要利用tfserving构建服务端之前，需要先将模型结果的ckpt文件转为对映pd格式文件，这步操作只需运行对应的./crnn_ctc/save_model.py即可，产生的pd文件位于./crnn_ctc/output/versions/文件夹下。

tfserving

接下来便可以开始搭建tfserving服务端，这采用docker来进行服务端的构建（关于docker的安装可自行百度）。安装完docker之后便可拉取，tfserving的镜像，

docker pull tensorflow/serving

镜像拉取完成后，以如下语句启动服务端,其中source后接的是刚才模型生成的versions文件夹对应路径。

docker run --name tfserving-ocr \
        --hostname tfserving-ocr \
        -tid \
        --restart=on-failure:10 \
        -v  /etc/timezone:/etc/timezone \
        -v  /etc/localtime:/etc/localtime \
        -p 6501:8501 \
        -p 6502:8502 \
        --mount type=bind,source=/home/python-project/ocr/tfserving/crnn_ctc,target=/models/crnn_ctc \
        -e MODEL_NAME=crnn_ctc \
        -t tensorflow/serving &

至此，我们已经完成了文本识别的服务端的构建。可运行客户端client.py进行测试。

文本检测

对于文本检测，本人主要利用了开源项目text-detection-ctpn模型及结果，将其部署为tfserving服务。因为，部署步骤与上面类似，先利用deeplab_saved_model.py将ckpt文件转为pd格式文件。然后启动服务端，其中source后接的是刚才模型生成的versions文件夹对应路径。

docker run --name tfserving-ctpn \
        --hostname tfserving-ctpn \
        -tid \
        --restart=on-failure:10 \
        -v  /etc/timezone:/etc/timezone \
        -v  /etc/localtime:/etc/localtime \
        -p 7501:8501 \
        -p 7500:8502 \
        --mount type=bind,source=/home/python-project/ocr/tfserving/ctpn,target=/models/ctpn \
        -e MODEL_NAME=ctpn \
        -t tensorflow/serving &

相应的，我也实现了相应的客户端client.py进行测试。

主程序

最后，我们将文本检查与文本识别的两个步骤进行合并，详细代码请见run.py。对于，一张传入的图片，我们先进行文本检测，检测出图片中文字的位置，在得到了文字位置的列表之后，我们只需对每个检测到的文字矩形框进行文本识别，即可得到最终的结果。

示例图片