安装TensorRT

一、本文档所使用的各个版本

Python版本：3.7.11
pytorch版本: 1.8.0
CUDA版本：11.1

二、自动安装

在Linux下安装tensorrt包时使用

pip install tensorrt
pip install nvidia-pyindex
pip install nvidia-tensorrt

运行上述命令之后就可以安装成功，不支持Windows环境。

三、手动安装

      自动安装有时候版本太高，而我们又需要特定的安装版本。这时就需要我们进行手动安装。手动安装的过程略显麻烦，主要是要到官网下载适合的版本。
      我下载好了几个版本放到百度网盘上，可以扫描下面的二维码下载，二维码之后附上文件列表（建议只下载tar.gz软件包）。

nv-tensorrt-repo-ubuntu1804-cuda10.0-trt7.0.0.11-ga-20191216_1-1_amd64.deb
nv-tensorrt-repo-ubuntu1804-cuda10.1-trt6.0.1.5-ga-20190913_1-1_amd64.deb
nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.0.0.11-ga-20191216_1-1_amd64.deb
nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007_1-1_amd64.deb
TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz
TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz
TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz
TensorRT-7.2.1.6.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.0.tar.gz

由于我的CUDA版本是11.1，所以我以nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007_1-1_amd64.deb和TensorRT-7.2.1.6.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.0.tar.gz两种不同的安装包进行说明。

1. DEB的安装（不推荐）

1. 使用命令

dpkg -i nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007_1-1_amd64.deb

安装此deb包，这实际上是一个解压的过程。解压好的文件放于/var/nv-tensorrt-repo-cuda11.1-trt7.2.1.6-ga-20201007/目录下。

2. 使用命令

apt-key add /var/nv-tensorrt-repo-cuda11.1-trt7.2.1.6-ga-20201007/7fa2af80.pub

添加key。

3. 接着使用命令

apt-get update
apt-get install tensorrt

进行安装即可。

4. 但是不推荐此种安装方式，因为解压之后的tensorrt_7.2.1.6-1+cuda11.1_amd64.deb包里没有实质的tensorrt内容。所以安装好后也无法导入tensorrt。

2. TAR包的安装

1. 使用

tar xvf TensorRT-7.2.1.6.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.0.tar.gz

将压缩包解压。

2. 使用

cd TensorRT-7.2.1.6

命令进入主目录中，主目录下面的python文件夹就是我们需要安装的软件包。

3. 安装与自己的python版本相对应的包，中间的cp37代表python3.7，以此类推。

pip install tensorrt-7.2.1.6-cp37-none-linux_x86_64.whl

4. 使用

mkdir -p /usr/lib/tensorrt
cp -a lib/*  /usr/lib/tensorrt

将tensorrt所依赖的库文件拷贝到操作系统中。

5. 打开/etc/profile文件，将

export LD_LIBRARY_PATH="/usr/lib/tensorrt:${LD_LIBRARY_PATH}"

写到最后即可。

6. 使用命令

source /etc/profile

使之立即生效，则安装完成。