windows下tensorRT的安装

目的

使用tensorRT进行网络模型部署，加快推理速度

方法

安装tensorRT的过程并不麻烦，主要是需要对各种组件的版本进行匹配
主要的前置安装套件有：
1、CUDA
2、cuDNN
3、pyCUDA
4、tensorflow或pytorch

CUDA的安装

非常迅速，到CUDA官网找到安装包下到桌面以后直接安装即可
直转CUDA官网
下载至桌面后直接点击exe文件安装即可
安装以后我的电脑会自动配置CUDA的环境变量，因此不再需要自己配一遍

cuDNN安装

也是非常直接，去到cuDNN官网
直转cuDNN官网
直接下载对应版本即可
下载后把bin、lib、include里的文件复制到CUDA安装路径下即可
复制完以后不需要额外配置cuDNN的环境变量

pyCUDA安装

pycuda并不是tensorRT的安装必备项，属于可选项，安装方法使用whl文件手动安装，去官网下载安装包即可
直转pyCUDA下载链接
在控制台使用命令
pip install 'pyCUDA解压路径'
安装即可

tensorRT安装

tensorRT安装比较复杂，其需要前述预安装套件的版本组合，以tensorRT8.2.5为例，其仅支持如下几个CUDA版本

具体而言，以自身需要的tensorRT版本为出发点，可以通过查阅tensorRT官网的文档进行选择
tensorRT安装配置查询
安装步骤：
1、去tensorRT官网下载安装包
tensorRT下载官网
2、解压缩
3、将tensorRT解压缩路径下lib文件夹里的DLL文件复制到CUDA文件夹的bin目录下，具体而言如：
C:User\***\Desktop\TensorRT8.*\lib ->C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin
4、在已安装好tensorflow-gpu的conda环境下安装tensorRT，安装包在解压的tensorRT文件夹的python目录下，根据环境中的python版本选择安装包

pip install tensorrt-*-cp3x-none-win_amd64.whl

5、安装后续配置包，主要是uff, graphsurgeon, onnx_graphsurgeon三个包，在tensorRT的解压缩文件夹里都可以找到，直接pip install即可
更为细节的，可以查看官网安装指南
tensorRT官方安装指南

结束

祝大家都能顺利安装tensorRT工具，早日完成实验