Ubuntu18.04安装tensorRT来部署模型

安装tensorRT

（1）查看自己的cuda和cudnn版本

cat /usr/local/cuda/version.txt
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
# 或(新版使用以下命令查看)
cat /usr/local/cuda/version.json
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

（2）安装pycuda

pip3 install pycuda -i https://mirrors.aliyun.com/pypi/simple

这里注意不要使用sudo来安装，要不然可能会出现找不到cuda.h文件的错误。-i 后面是指定使用阿里源，安装会更快些。

（3）下载tensorRT

然后根据自己的cuda版本下载对应tensorRT版本，我下载的是比较新的TensorRT7版本。

下载地址：https://developer.nvidia.com/nvidia-tensorrt-7x-download

（4）安装tensorRT

解压：

tar -zxvf TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz

添加环境变量：

vim ~/.bashrc
export LD_LIBRARY_PATH=/home/liguiyuan/software/TensorRT-7.0.0.11/lib:$LD_LIBRARY_PATH
source ~/.bashrc

安装python TensorRT 

cd TensorRT-7.0.0.11/python/
sudo pip3 install tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl

安装python UFF

cd ../uff/
sudo pip3 install uff-0.6.5-py2.py3-none-any.whl

安装python graphsurgeon

cd ../graphsurgeon/
sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl

（5）验证安装

>>> import tensorrt
>>> tensorrt.__version__
'7.0.0.11'

(6)跑一下自带的例子

cd samples/sampleMNIST
make
cd ../../bin
./sample_mnist

如果输出如下信息，表示例子运行成功。

[03/06/2023-17:24:32] [I] Building and running a GPU inference engine for MNIST
[03/06/2023-17:24:33] [I] [TRT] Detected 1 inputs and 1 output network tensors.
[03/06/2023-17:24:33] [W] [TRT] Current optimization profile is: 0. Please ensure there are no enqueued operations pending in this context prior to switching profiles
[03/06/2023-17:24:33] [I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@#=.  +*=#@@@@@@@
@@@@@@@@@@@*   :.   -@@@@@@@
@@@@@@@@@@#  :#@@:  +@@@@@@@
@@@@@@@@@*  :@@@*  .@@@@@@@@
@@@@@@@@=  =@@@@.  *@@@@@@@@
@@@@@@@=  -@@@@*  =@@@@@@@@@
@@@@@@@  -@@@%:  -@@@@@@@@@@
@@@@@@%  %%+:    *@@@@@@@@@@
@@@@@@@      ..  @@@@@@@@@@@
@@@@@@@#  .=%%: =@@@@@@@@@@@
@@@@@@@@@@@@@#  +@@@@@@@@@@@
@@@@@@@@@@@@@#  @@@@@@@@@@@@
@@@@@@@@@@@@@@  @@@@@@@@@@@@
@@@@@@@@@@@@@#  @@@@@@@@@@@@
@@@@@@@@@@@@@+  @@@@@@@@@@@@
@@@@@@@@@@@@@%  @@@@@@@@@@@@
@@@@@@@@@@@@@@. #@@@@@@@@@@@
@@@@@@@@@@@@@@* :%@@@@@@@@@@
@@@@@@@@@@@@@@@: -@@@@@@@@@@
@@@@@@@@@@@@@@@@= %@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

[03/06/2023-17:24:33] [I] Output:
0: 
1: 
2: 
3: 
4: 
5: 
6: 
7: 
8: 
9: **********

&&&& PASSED TensorRT.sample_mnist # ./sample_mnist

如果输出以下信息，表明例子运行失败。

&&&& RUNNING TensorRT.sample_mnist # ./sample_mnist
[03/06/2023-17:32:09] [I] Building and running a GPU inference engine for MNIST
[03/06/2023-17:32:10] [I] [TRT] Detected 1 inputs and 1 output network tensors.
[03/06/2023-17:32:10] [W] [TRT] Current optimization profile is: 0. Please ensure there are no enqueued operations pending in this context prior to switching profiles
Could not find 0.pgm in data directories:
    data/mnist/
    data/samples/mnist/
&&&& FAILED

这是因为缺少MNIST数据的原因导致，解决方法：

进入 data/mnist 目录，运行：

python download_pgms.py

下载好mnist数据之后，再回 bin 目录里运行 ./sample_mnist 就可以成功运行了。

参考：

https://liumin.blog.csdn.net/article/details/92847719

pycuda安装报错（已解决）_安装pycuda报错_z649431508的博客-CSDN博客