安卓端部署PPOCR的ncnn模型——模型转换

最近在研究ocr模型（包括文本检测和文本识别）在安卓端的部署，由于工作中用到的算法是基于百度研发的PPOCR算法，最终需要在安卓端落地应用，部署框架使用的是ncnn框架，中间涉及模型转换和部署的问题，所以特意在此做一个记录，本文主要讲一下模型转换的问题。

说到模型转换，自然会涉及原模型（训练模型）、中间模型（onnx）和目标模型（ncnn模型），原模型对应训练框架、目标模型对应部署框架。首先是训练框架（模型）：我们用到的是百度的飞桨（PaddlePaddle），它包含了从训练到部署的全套工具，由于公司之前一直用ncnn作为部署框架的，也不方便为了这个算法去直接换框架，所以要保持原有部署框架不变只能从模型转换作为突破口了。其次是中间模型：我们选择的是微软开发的onnx，它也是原模型与目标模型的中间桥梁，目前市面上绝大多数深度学习训练框架都支持训练模型到onnx模型的转换，同时绝大多数部署框架也支持onnx到部署模型的转换。最后是部署框架：我们用到的是腾讯优图实验室开发的ncnn，它主要是移动端深度学习模型的部署工具，提升深度学习模型的推理性能。

废话不多说，开始正题

准备工作：

模型：原模型这里用的是百度开源的PPOCR模型下载地址（model_list）
具体用到的是文本检测的ch_ppocr_mobile_v2.0_det（推理模型）和文本识别的ch_ppocr_mobile_v2.0_rec（推理模型）。

转换环境：

OS：Ubuntu 18.04
Python 3.6
Paddle2ONNX
ONNXRuntime
ncnn
PaddleOCR

构建环境命令：

$ pip3 install onnxruntime==1.9.0 --user
$ pip3 install paddle2onnx --user
$ sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libvulkan-dev vulkan-utils libopencv-dev

部署框架模型转换工具编译命令：

$ git clone https://github.com/Tencent/ncnn.git
$ cd {Your_Path}/ncnn/
$ mkdir -p build
$ cd build
$ cmake ..
$ make -j4

转换操作：

paddlepaddle->onnx

# 文本检测
$ paddle2onnx--model_dir {your_ocr_det_paddlepaddle_model_root_path} \
--model_filename {your_ocr_det_pdmodel_file_name} \
--params_filename {your_ocr_det_pdiparams_file_name} \
--save_file {your_ocr_det_onnx_file_name} \
--opset_version 10 \
--input_shape_dict="{'x':[-1,3,-1,-1]}"\
--enable_onnx_checker True
# 文本识别
$ paddle2onnx--model_dir {your_ocr_rec_paddlepaddle_model_root_path} \
--model_filename {your_ocr_rec_pdmodel_file_name} \
--params_filename {your_ocr_rec_pdiparams_file_name} \
--save_file {your_ocr_rec_onnx_file_name} \
--opset_version 10 \
--input_shape_dict="{'x':[-1,3,-1,-1]}"\
--enable_onnx_checker True

如若使用训练模型进行转换，则需要下载PaddleOCR
具体操作如下：

$ git clone https://github.com/PaddlePaddle/PaddleOCR.git
# 文本检测训练模型->推理模型
$ python3 {your_path}/PaddleOCR/tools/export_model.py -c {your_path}/configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml -o Global.pretrained_model={your_path}/ch_ppocr_mobile_v2.0_det_train/best_accuracy Global.save_inference_dir={your_path}/inference/det_db/
# 文本识别训练模型->推理模型
$ python3 {your_path}/tools/export_model.py -c {your_path}/configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml -o Global.pretrained_model={your_path}/ch_ppocr_mobile_v2.0_rec_train/best_accuracy  Global.save_inference_dir={your_path}/inference/rec_crnn/

最后得到的det_db和rec_crnn目录文件如下：
inference/{model_root_path}/
├── inference.pdiparams # 检测inference模型的参数文件
├── inference.pdiparams.info # 检测inference模型的参数信息，可忽略
└── inference.pdmodel # 检测inference模型的program文件
接下来再回到上一步进行转换操作。

onnx->ncnn

$ cd {Your_Path}/ncnn/build/onnx/
# 文本检测
$ python3 -m onnxsim {your_ocr_det_onnx_file_path} {your_ocr_det_onnx_sim_file_path} --dynamic-input-shape --input-shape "1,3,640,640"
$ ./onnx2ncnn {your_ocr_det_onnx_file_path} {your_ocr_det_ncnn_param_file_path} {your_ocr_det_ncnn_bin_file_path}
# 文本识别
$ python3 -m onnxsim {your_ocr_rec_onnx_file_path} {your_ocr_rec_onnx_sim_file_path} --input-shape "1,3,32,320"
$ ./onnx2ncnn {your_ocr_rec_onnx_sim_file_path} {your_ocr_rec_ncnn_param_file_path} {your_ocr_rec_ncnn_bin_file_path}

注意：文本检测与文本识别的onnxsim命令区别，虽然两者的输入shape都是-1,3,-1,-1，但是仍然需要指定一个shape，否则进行onnx2ncnn时会报错。

这样我们就得到了完整的PPOCR文本检测算法和文本识别算法里的对应ncnn模型，可以进行进一步的部署与推理了。