Paddle Inference C++ 依赖库安装(Windows)

  Paddle Inference 是飞桨的原生推理库， 提供服务器端的高性能推理能力。由于 Paddle Inference 能力直接基于飞桨的训练算子，因此它支持飞桨训练出的所有模型的推理。Paddle Inference 功能特性丰富，性能优异，针对不同平台不同的应用场景进行了深度的适配优化，做到高吞吐、低时延，保证了飞桨模型在服务器端即训即用，快速部署。

 此处针对使用GPU加速的方式安装，主要依靠NVIDIA 官方文档了解 CUDA、cuDNN 和 TensorRT

1. 环境准备

 此处针对使用GPU加速的方式安装，主要依靠NVIDIA 显卡CUDA、cuDNN 和 TensorRT，所以首先电脑环境应当安装上CUDA、cuDNN 和 TensorRT，具体版本对应如下表所示：

CUDA 版本	cuDNN 版本	TensorRT 版本
10.2	7.6.5	7.0.0.11
11.2	8.2.1	8.0.1.6
11.6	8.4.0	8.4.0.6
11.7	8.4.1	8.4.2.4

 具体版本可以有一些差别，本机电脑安装的CUDA版本为11.4，cuDNN 版本为8.2.4，TensorRT 版本为8.4.0.6，经过测试也是可以使用的。

2. 下载安装库

 此处我们需要安装C++依赖库，飞桨官网提供了编译好的安装包，此处我们直接下载安装包即可，如果没有对应的版本可以自己进行编译，不过可能会浪费更多时间，其容易出错，因此此处采用线程的预编译包：

下载安装 Linux 推理库-PaddlePaddle深度学习平台

 由于当前电脑安装的CUDN为11.4，没有对应编译好的文件，所以选择

CUDA11.6/cuDNN8.4/TensorRT8.4版本下载，经过测试是可以使用的。

问价下载好后，将压缩包解压到指定路径下，将该路径作为后面的安装和使用路径。文件解压后架构如下所示：

paddle_inference/paddle_inference_install_dir/
├── CMakeCache.txt
├── paddle
│   ├── include                                    C++ 推理库头文件目录
│   │   ├── crypto
│   │   ├── internal
│   │   ├── paddle_analysis_config.h
│   │   ├── paddle_api.h
│   │   ├── paddle_infer_declare.h
│   │   ├── paddle_inference_api.h                 C++ 推理库头文件
│   │   ├── paddle_mkldnn_quantizer_config.h
│   │   └── paddle_pass_builder.h
│   └── lib
│       ├── libpaddle_inference.lib                      C++ 静态推理库文件
│       └── libpaddle_inference.dll                      C++ 动态态推理库文件
├── third_party
│   ├── install                                    第三方链接库和头文件
│   │   ├── cryptopp
│   │   ├── gflags
│   │   ├── glog
│   │   ├── mkldnn
│   │   ├── mklml
│   │   ├── protobuf
│   │   └── xxhash
│   └── threadpool
│       └── ThreadPool.h
└── version.txt

3. 设置环境变量

 此处需要将所有的动态推理库路径加入到环境变量中，由于文件路径较多，所以先创建一个变量paddle_inference，并依次加入以下路径：

D:\Program Files\paddle_inference\paddle\lib
D:\Program Files\paddle_inference\third_party\install\cryptopp\lib
D:\Program Files\paddle_inference\third_party\install\gflags\lib
D:\Program Files\paddle_inference\third_party\install\glog\lib
D:\Program Files\paddle_inference\third_party\install\mkldnn\lib
D:\Program Files\paddle_inference\third_party\install\mklml\lib
D:\Program Files\paddle_inference\third_party\install\onnxruntime\lib
D:\Program Files\paddle_inference\third_party\install\paddle2onnx\lib
D:\Program Files\paddle_inference\third_party\install\protobuf\lib
D:\Program Files\paddle_inference\third_party\install\utf8proc\lib
D:\Program Files\paddle_inference\third_party\install\xxhash\lib;

 最后在系统环境变量Path变量中加入上面创建的变量：%paddle_inference%。

4. VS C++ 项目配置

 由于下载的预编译包只支持Release模式，所以此处只能使用Release：

// 包含目录
D:\Program Files\paddle_inference\paddle\include
// 库目录
D:\Program Files\paddle_inference\paddle\lib
// 附加依赖项
paddle_inference.lib