Windows 环境下TensorRT 7.2 安装过程

安装环境

Anaconda3 / Python 3.7
Tensorflow-gpu 2.4
TensorRT 7.2.16
CUDA 10.2
CUDNN 8.0.4
VS 2019

简介

TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。 详细信息各位大佬已经写的很清楚了：
高性能深度学习支持引擎实战——TensorRT

安装过程

1、 目前TensorRT的Windows zip包不提供Python支持。需要自行安装PyCUDA配合使用，在Anaconda下使用pip install pycuda进行安装。[1]
2、根据自己的CUDA与cudnn版本选择合适的TensorRT版本：
英伟达TensorRT 下载地址：下载链接
基于我的个人版本选择了TensorRT 7.2.1 for Windows10 and CUDA 10.2 ZIP package 文件。
3、下载完解压后，需要安装 graphsurgeon、uff目录下两个whl文件。

cd C:\Users\charlie_Lion\Desktop\TensorRT-7.2.1.6\graphsurgeon # 实际下载路径
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl #路径下的文件名称

cd C:\Users\charlie_Lion\Desktop\TensorRT-7.2.1.6\uff #实际下载路径
pip install uff-0.6.9-py2.py3-none-any.whl #路径下文件名称

4、将TensorRT-7.2.1.6文件夹下\include中头文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
将TensorRT-7.2.1.6\lib 中所有lib文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64
将TensorRT-7.2.1.6\lib 中所有dll文件copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin

5、使用VS2019 打开 TensorRT-7.2.1.6\samples\sampleMNIST\sample_mnist.sln文件，并生成编译：

生成成功：
同时也会在TensorRT-7.2.1.6\bin目录下生成sample_mnist.exe文件.

6、用anaconda 进入TensorRT-7.2.1.6\data\mnist 目录，执行python download_pgms.py，下载对应的图像，这里可能提示报错：

  raw_buf = np.fromstring(buffer, dtype=np.uint8)
download_pgms.py:23: DeprecationWarning: The binary mode of fromstring is deprecated, as it behaves surprisingly on unicode inputs. Use frombuffer instead
  raw_buf = np.fromstring(buffer, dtype=np.uint8)

需要修改TensorRT-7.2.1.6\data\mnist\download_pgms.py文件中的代码，将
raw_buf = np.fromstring(buffer, dtype=np.uint8)
修改为
raw_buf = np.frombuffer(buffer, dtype=np.uint8)–>一共有两行。
下载完成后，会在同目录下产生.pgm文件.

7、进入TensorRT-7.2.1.6\bin，用cmd执行sample_mnist.exe。
如果如图所示，则完成~

参考文献：
[1]官方资料
[2]windows安装tensorrt
[3]TensorRT (一） Win10 安装配置
[4]TensorRT安装及使用教程