TensorRT安装、测试及常见问题

■ 安装过程

一、安装依赖环境

● Ubuntu 20.04
● CUDA 11.1
● cuDNN 8.0.4
● python 3.8.5
– 可以通过命令查看cuda、cudnn、python版本(以上是我的安装环境)

二、下载安装包

1.下载链接：https://developer.nvidia.com/nvidia-tensorrt-download
2. 点击Download Now（需要登录英伟达账号，没有的注册一个）
3. 选择下载的版本
4. 完成问卷调查
5. 选择同意协定
6. 根据自己的系统版本和CUDA版本选择安装包（我安装的TensorRT版本是7.2.2.3）

三、安装指令

1. 解压tar文件

tar xzvf TensorRT-7.2.2.3.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.0.tar.gz

– 解压之后会有lib，include，data，etc…

2. 添加环境变量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:TensorRT-7.2.2.3/lib

3. 安装python的TensorRT包

cd TensorRT-7.2.2.3/python
pip3 install tensorrt-7.2.2.3-cp38-none-linux_x86_64.whl

– 因为我的python版本是3.8，所以我安装的是cp38

4. 安装python UFF包，支持TensorFlow模型转化

cd TensorRT-7.2.2.3/uff
pip3 install uff-0.6.9-py2.py3-none-any.whl

5. 安装pyton graphsurgeon，支持自定义结构

cd TensorRT-7.2.2.3/graphsurgeon
pip3 install graphsurgeon-0.4.5-py2.py3-none-any.whl

四、安装PyCUDA

       PyCUDA是python使用NVIDIA CUDA的API，在Python中映射了所有CUDA的API，如果你想在Python中进行CUDA的编程，一定要安装PyCUDA。

pip3 install 'pycuda>=2019.1.1'

■ 测试

       我们可以通过运行samples/python下面的例子，来测试安装是否成功。

1. 第一步：

cd samples/python/end_to_end_tensorflow_mnist
python3 model.py

– 运行之前在end_to_end_tensorflow_mnist目录下新建一个名为models的文件夹，执行model.py之后会在 models文件夹中生成一个lenet5.pb

2. 第二步：

cd samples/python/end_to_end_tensorflow_mnist
convert-to-uff ./models/lenet5.pb

– 通过convert-to-uff命令生成.uff文件，如果执行成功的话会在models文件夹下生成lenet5.uff

4. 第三步

cd TensorRT-7.2.2.3/data/mnist
python3 download_pgms.py

–进入到data目录下的mnist中，运行download_pgms.py，目的是为了生成测试图片。

5. 第四步

cd samples/python/end_to_end_tensorflow_mnist
python3 sample.py -d /home/yaoyao/TensorRT/TensorRT-7.2.2.3/data/mnist

– 通过sample.py测试，-d后边跟的是刚才生成测试图片的路径。

输出：

测试成功！

■ 常见问题