Windows10系统下C#部署Paddlex模型

一、部署环境介绍

本文部署环境如下：

软件	版本
操作系统	Windows10
Visual Studio	Enterprise2019
cmake	3.18.0
Miniconda	4.9.2
paddlepaddle-gpu	2.1.2
paddleX	2.0.0rc4
CUDA	10.1
cuDNN	7.6.5

部署过程大部分参照GitHub官方文档1和GitHub官方文档2进行。

二、文件下载

2.1下载PaddleX源码

按照GitHub官方文档说明，首先需使用git工具从GitHub下载PaddleX源码。
需要注意的是当前为最新版本2.1.0，如果模型训练时不是使用2.1.0版本进行训练，那么在生成可执行文件后，文件无法正确进行预测。
下载命令如下：

mkdir projects
cd projects
git clone https://github.com/PaddlePaddle/PaddleX.git

2.2下载C++ 预测库 paddle_inference

摘抄官方文档：PaddlePaddle C++ 预测库针对是否使用GPU、是否支持TensorRT、以及不同的CUDA版本提供了已经编译好的预测库，目前PaddleX支持Paddle预测库2.0+，Paddle预测库2.1.0版本下载链接见GitHub官方文档：

Paddle预测库2.1.1版本下载链接见官网官方文档：

CUDA与cuDNN版本查看可参照一步步教你查看cuda和cudnn版本。
本文选择CUDA10.1、cuDNN7.6对应的2.1.0Paddle预测库进行下载。

2.3下载Opencv

在OpenCV官网下载适用于Windows平台的3.4.6版本。
前三步下载完成后，文件夹如下：

2.4下载TensorRT

在训练了神经网络之后，TensorRT可以对网络进行压缩、优化以及运行时部署，并且没有框架的开销。TensorRT通过combines layers，kernel优化选择，以及根据指定的精度执行归一化和转换成最优的matrix math方法，改善网络的延迟、吞吐量以及效率。TensorRT下载版本需要和cuda进行匹配，下载链接，下载前需注册NVIDIA账号登录，本文选择TensorRT-6.0.1.5.Windows10.x86_64.cuda-10.1.cudnn7.6进行下载。
安装过程参照在Windows10下安装TensorRT5.1 GA，但通过运行sample_minist来验证是否安装成功过程中会报错“Could not find *.pgm in data directories”，原因是TensorRT-6.0版本中缺少minist相关数据文件，需从链接下载，解压到data\mnist路径下，然后运行bin\sample_mnist.exe出现下图，安装成功。

三、编译C++可执行文件

3.1vs生成项目工程

按照官方文档说明，有两种方式生成项目工程，一种为使用Cmake对PaddleX/deploy/cpp中代码进行编译，另一种是使用vs直接打开PaddleX/deploy/cpp文件夹中CMakeLists.txt进行项目生成。本文首先选择使用vs进行项目生成。
打开vs2019点击继续但无需代码：
点击： 文件->打开->CMake：

选择PaddleX\deploy\cpp文件夹，并打开CMakeList.txt：

点击：项目->CMake设置，分别设置编译选项指定CUDA、OpenCV、Paddle预测库的路径，依赖库路径的含义说明如下（带*表示仅在使用GPU版本预测库时指定, 其中CUDA库版本尽量与Paddle预测库的对齐，例如Paddle预测库是使用9.0、10.0版本编译的，则编译PaddleX预测代码时不使用9.2、10.1等版本CUDA库）：


最终配置路径完成如下图：

点击保存并生成CMake缓存，出现CMake 生成完毕且无报错代表生成完毕。
点击生成->全部生成，生成demo里的可执行文件。

弹出“全部生成 已成功。”说明生成成功，在out\build\x64-Release\paddle_deploy路径下已生成exe可执行文件。

3.2Cmake生成项目工程

对PaddleX/deploy/cpp中代码进行编译，并创建out文件夹用来承接编译生成的内容，点击configure，在弹出界面选择x64，点击finish。


爆出“Unknown arguments specified Configuring incomplete, errors occurred!”错误，这时需在cmake中配置如3.1所述CUDA、OpenCV、Paddle预测库的路径，配置完成后点击configure，提示“Configuring done”，配置完成。点击Generate进行生成，提示“Generating done”，生成完成。

最终在out文件夹中出现了.sln文件，则表示通过cmake成功生成了解决方案：

3.3生成DLL可执行文件

按照官方文档说明，首先使用vs打开PaddleDeploy.sln，按下图修改model_infer项目中的cmakelists，即将121行中的“add_executable”替换为“add_library”，在“model_infer model_infer.cpp” 中间增加“SHARED” ：

关闭vs，然后用paddleX/deploy/cpp/docs/csharp_deploy/model_infer.cpp文件替换掉PaddleX/deploy/cpp/demo/model_infer.cpp。
打开PaddleDeploy.sln，解决方案配置为release，对model_infer项目进行生成：


model_infer.dll文件生成成功，可在C#项目中进行调用，官方在PaddleX\deploy\cpp\docs\csharp_deploy\c#路径下给出了一个C#示例工程，读者可参照说明进行测试，这部分内容不再叙述。