TensorRT安装及使用教程

参考：https://blog.csdn.net/zong596568821xp/article/details/86077553

一、TensorRT安装

官网下载

坑：

（1）根据自己cuda的安装方式自行选择下载deb还是tar文件

（2）下载链接中标明了对应的cuda版本以及操作系统

（3）下载后文件名中标明的需要的cuDNN的版本，需要时自行下载

（4）参考博客中的版本只支持到python3.5，python3.6以上版本不支持，即使显示安装成功，在import tensorrt时仍然会报错，若用python3.6版本，建议下载最新版本tensorrt 5.1.5.0，貌似也只支持到python3.7。

附安装步骤：

tar xzvf TensorRT-5.1.5.0.Ubuntu-16.04.4.x86_64-gnu.cuda-9.0.cudnn7.5.tar
 
#解压得到TensorRT-5.0.2.6的文件夹，将里边的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lthpc/tensorrt_tar/TensorRT-5.1.5.0/lib
 
#安装TensorRT
cd TensorRT-5.0.2.6/python
#if python2
sudo pip2 install tensorrt-5.1.5.0-py2.py3-none-any.whl
#if python3
sudo pip3 install tensorrt-5.1.5.0-py2.py3-none-any.whl
 
#安装UFF
cd TensorRT-5.0.2.6/uff
#if python2
sudo pip2 install uff-0.6.3-py2.py3-none-any.whl
#if python3
sudo pip3 install uff-0.6.3-py2.py3-none-any.whl
 
#安装graphsurgeon
cd TensorRT-5.0.2.6/graphsurgeon
#if python2
sudo pip2 install graphsurgeon-0.4.1-py2.py3-none-any.whl
#if python3
sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl

测试：

python
import tensorflow
import tensorrt
import uff

不报错即为安装成功。

附更换cuDNN方法：

下载相应版本的cuDNN

sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*

sudo cp include/cudnn.h /usr/local/cuda/include/
sudo cp lib64/lib* /usr/local/cuda/lib64/


cd /usr/local/cuda/lib64/
sudo chmod +r libcudnn.so.7.3.1
sudo ln -sf libcudnn.so.7.3.1 libcudnn.so.7
sudo ln -sf libcudnn.so.7 libcudnn.so   
sudo ldconfig  

测试：

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

即可看到对应版本是否更换成功。