基于服务器部署的OCR在线识别应用

一、前言

前段时间，接了一个OCR在线识别的外包程序，在实现过程中遇到了很多麻烦，也走过很多弯路。在网络查阅了许多相关资料后，发现关于这一块知识详细而完整的文章不多，故写下此文，既是对前段时间的总结，也为今后有同样困扰的朋友提供一些帮助。

几经比较，本文最终决定使用百度的开源OCR框架作为基础，实现服务器部署以及端口调用。PaddleOCR是百度开源的OCR识别框架，采用Paddlehub可快速一键部署。PaddleOCR 的 github 地址：https://github.com/PaddlePaddle/PaddleOCR

二、准备

1、自备服务器，如果没有服务器使用ubuntu作为模拟服务器也行，本文使用的是阿里云服务器

2、在服务器内安装Python环境，建议直接安装Anaconda，可以省去很多时间

3、安装百度的PaddlePaddle，这是个所有百度框架的老大哥，只要你想使用百度的框架产品，这个是必备的

4、安装百度的PaddleHub，这是PaddlePaddle的头号小老弟，安装这个后才能一键部署PaddleOCR

5、安装第三方库shapely、pyclipper，这是运行PaddleOCR的依赖库，没有他们PaddleOCR运行不了

6、安装百度的PaddleOCR框架，有基于移动端的识别框架，也有基于服务端的识别框架，本文使用服务端框架

三、详细步骤

1、配置Python环境

       对于初始的服务器来说，其内置的Python版本一般为2.7，已经不再适用当前环境所需的要求，所以需要重新安装新版本的Python环境。为了方便，我直接使用了Anaconda，它把Python和一些常用的库有集合起来了，不需要后续再一个个下载安装。下面进行第一步，下载Anaconda安装包。建议使用使用清华的镜像下载，速度会快很多，清华园镜像地址

将镜像下载进自己的服务器内，我新建了一个Downloads目录专门来存放下载下来的文件

把Anaconda的安装包下载下列后，只需要执行一个bash命令即可： bash Anaconda3-2020.02-Linux-x86_64.sh。然后就是根据提示，要么回车要么输入 yes 。由于笔者写文的时候，环境已经配置好了，没有保留Anaconda的安装截图，如果中途没有报错，一般就是安装成功了。要验证也非常简单，只需要输入：anaconda -V 和 conda -V ，有显示相对应的版本号就算成功了，如下图。

因为有用到图像处理，所以还需要安装一个openCV，安装步骤也非常简单，一句命令即可

pip install opencv-python

2、安装PaddlePaddle

       PaddlePaddle是百度旗下的一个人工智能开发框架，功能类似于tensorflow和PyTorch等等。对于PaddlePaddle的安装和使用，百度有给出非常简单而清楚的使用教程，教程链接：https://www.paddlepaddle.org.cn/install/quick#show_info ，这里给出了各个系统各个环境对应的安装教程，笔者也是根据这份教程进行简易安装的。

• 需要确认您的 Ubuntu 14.04/16.04/18.04 是 64 位操作系统*
• 确认您需要安装 PaddlePaddle 的 Python 是您预期的位置，因为您计算机可能有多个 Python

which python3

（根据您的环境您可能需要替换本说明中所有命令行中的 python3 为 python ，或者替换为具体的 Python 路径）

• 同时检查 Python 3 的版本，确认是 3.5.1+/3.6/3.7：

python3 --version

• 确认 Python 有对应的 pip，检查 Python 对应的 pip 的版本，确认是 9.0.1+：

python3 -m ensurepip
python3 -m pip --version

• 确认 Python 和 pip 是 64 bit，并且处理器架构是x86_64架构，目前PaddlePaddle不支持arm64架构
  下面的两个命令分别输出的是 “64bit” 和 “x86_64” 即可：

python3 -c "import platform;print(platform.architecture()[0]);print(platform.machine())"

• 执行以下命令安装（推荐使用百度源）：

python3 -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

或

python3 -m pip install paddlepaddle -i https://pypi.tuna.tsinghua.edu.cn/simple

验证信息

使用 python3 进入python解释器，输入import paddle.fluid ，再输入 paddle.fluid.install_check.run_check()。
如果出现 Your Paddle Fluid is installed successfully!，说明您已成功安装。

如果顺利的话，大概几分钟就可以安装成功了，安装教程非常简单。

3、安装PaddleHub

       paddlehub安装就极其简单了，一句命令就行：pip install paddlehub，如果担心自己安装的版本不是最新版，也可以使用paddlehub的更新命令：pip install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

4、安装第三方库shapely、pyclipper

       理论上来说，在没有意外的情况下，使用下面两句话就可以安装成功了。安装后检验的方式也非常简单，使用 python 进入python解释器，尝试导入两个库，没有报错就说明安装成功了！

pip install shapely -i https://pypi.tuna.tsinghua.edu.cn/simple 
pip install pyclipper -i https://pypi.tuna.tsinghua.edu.cn/simple 

这里插个题外话，笔者最开始使用paddlehub是在自己的windows系统上，在windows上安装shapely，不能直接使用上面这句命令，对于在windows上安装shapely需要先去相应的网站下载其whl文件，再进行pip安装才行，笔者最开始被这个问题困扰许久，所以有用windows系统安装shapely的朋友，可以直接百度windows下安装shapely的教程。windows所需要的whl文件下载地址如下：https://www.lfd.uci.edu/~gohlke/pythonlibs/#shapely

5、安装PaddleOCR

       前面的东西都搞定后，当然就是我们的主角登场啦！如果前面的东西都安装没有问题后，那么安装PaddleOCR就变的十分简单了，前面有提到，PaddleOCR是PaddlePaddle的小老弟，那么PaddleOCR也可以算是Paddlehub的小老弟，有了Paddlehub，安装相应的OCR框架就是一句命令的事情。

       在安装之前有一个小科普，PaddleHub现已开源OCR文字识别的预训练模型主要有两种：移动端的超轻量模型、服务器端的精度更高模型，从名字也可以大致知道，前者适用于安卓端，后者适用于服务端；前者速度高，后者精度高。对于这两个模型的安装和使用，百度也给了非常非常详细的教程。

​ 移动端的超轻量模型：仅有8.6M，chinese_ocr_db_crnn_mobile。

​ 服务器端的精度更高模型：识别精度更高，chinese_ocr_db_crnn_server。

​ 所接的外包程序有明确的精度需求，所以选择了服务端的OCR预训练模型，下面给出安装服务端的安装命令：

hub install chinese_ocr_db_crnn_server==1.0.3

6、发布PaddleOCR

​ 官网给出的发布命令如下：

hub serving start -m chinese_ocr_db_crnn_server

根据官网给出的发布命令，虽然可以发布成功，但是存在一个很大的问题：我们必须一直开启着这个窗口，并且不能继续执行下一条命令。这对我们来说，执行和调用就非常不方便了，所以考虑将这个进程放入后台，放入后台的命令如下：

nohup hub serving start -m chinese_ocr_db_crnn_server &

nohup：加在一个命令的最前面，表示不挂断的运行命令；&：加载一个命令的最后面，表示这个命令放在后台执行

四、调用

1、Python的调用

import requests
import json
import cv2
import base64

def cv2_to_base64(image):
    data = cv2.imencode('.jpg', image)[1]
    return base64.b64encode(data.tostring()).decode('utf8')

# 发送HTTP请求
data = {'images':[cv2_to_base64(cv2.imread("图片地址"))]}
headers = {"Content-type": "application/json"}
url = "http://xxx(服务器ip):8866/predict/chinese_ocr_db_crnn_server"
r = requests.post(url=url, headers=headers, data=json.dumps(data))

# 打印预测结果
print(r.json()["results"])

这是官方教程给出的Python调用模板，非常简单优雅的代码。但是由于笔者要开始一个在线扫一扫应用，所以使用安卓语言进行调用，于是在这个代码的基础上进行语言转换。

2、Java的调用

package test;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.Charset;
import java.text.ParseException;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;

import sun.misc.BASE64Encoder;

public class InvoiceOcr {
	    //接口地址
		private static String apiURL = "http://xxxx:8866/predict/chinese_ocr_db_crnn_server";
		//private Log logger = LogFactory.getLog(this.getClass());
		private HttpClient httpClient = null;
		private HttpPost method = null;
		private long startTime = 0L;
		private long endTime = 0L;
		private int status = 0;
	 
		/**
		 * 接口地址
		 * 
		 * @param url
		 */
		public InvoiceOcr(String url) {
	 
			if (url != null) {
				this.apiURL = url;
			}
			if (apiURL != null) {
				httpClient = new DefaultHttpClient();
				method = new HttpPost(apiURL);
	 
			}
		}
	 
		/**
		 * 调用 API
		 * 
		 * @param parameters
		 * @return
		 */
		public String post(String parameters) {
			String body = null;
			if (method != null & parameters != null && !"".equals(parameters.trim())) {
				try {
	 
					// 建立一个NameValuePair数组，用于存储欲传送的参数
					method.addHeader("Content-type","application/json");
					method.setHeader("Accept", "application/json");
					method.setEntity(new StringEntity(parameters, Charset.forName("UTF-8")));
					startTime = System.currentTimeMillis();
	 
					HttpResponse response = httpClient.execute(method);
					
					endTime = System.currentTimeMillis();
					int statusCode = response.getStatusLine().getStatusCode();
					
					//logger.info("statusCode:" + statusCode);
					//logger.info("调用API 花费时间(单位：毫秒)：" + (endTime - startTime));
					if (statusCode != HttpStatus.SC_OK) {
						//logger.error("Method failed:" + response.getStatusLine());
						status = 1;
					}
					body = EntityUtils.toString(response.getEntity(),"utf-8");
				} catch (IOException e) {
					// 网络错误
					status = 3;
					System.out.println(e);
				} finally {
					//logger.info("调用接口状态：" + status);
				}
			}
			return body;
		}
	 
		public static void main(String[] args) throws ParseException {
			InvoiceOcr ac = new InvoiceOcr(apiURL);
			JSONArray arry = new JSONArray();
			JSONObject j = new JSONObject();
			arry.add(imageToBase64("E:\\DESK_LIVE\\20200907\\first\\image2.png"));
			j.put("images",arry);
	        String result = ac.post(j.toJSONString());
	        System.out.println(result);
		}
		
		public static String imageToBase64(String path) {
		        byte[] data = null;
		        // 读取图片字节数组
		        try {
		            InputStream in = new FileInputStream(path);
		            data = new byte[in.available()];
		            in.read(data);
		            in.close();
		        } catch (IOException e) {
		            e.printStackTrace();
		        }
		        // 对字节数组Base64编码
		        BASE64Encoder encoder = new BASE64Encoder();
		        return encoder.encode(data);// 返回Base64编码过的字节数组字符串
		    }
		/**
		 * 0.成功 1.执行方法失败 2.协议错误 3.网络错误
		 * 
		 * @return the status
		 */
		public int getStatus() {
			return status;
		}
	 
		/**
		 * @param status
		 *            the status to set
		 */
		public void setStatus(int status) {
			this.status = status;
		}
	 
		/**
		 * @return the startTime
		 */
		public long getStartTime() {
			return startTime;
		}
	 
		/**
		 * @return the endTime
		 */
		public long getEndTime() {
			return endTime;
		}
}

现在知道为什么说python代码很优雅了吧！以上代码还需要五个配套的架包，架包名称如下：commons-codec-1.9.jar、commons-logging-1.2.jar、fastjson-1.2.67.jar、httpclient-4.5.jar、httpcore-4.4.1.jar，并且将其关联到相应的lib目录下。

五、结果展示

可以看到图片越来越模糊，但是识别的精确度依旧很高，满足用户需求，模型效率表现良好！

自此，本次小结就到此结束了，可以看到整个过程并不困难，复现起来也十分简单，所以如果你觉得有意思，不如动手试试看，做一个自己的在线OCR识别应用程序。