ubuntu16.4 安装TensorRT (C++/Python)

• • 安装前的说明
  • 环境
  • 安装过程
  • 问题

一. 安装前的说明

TensorRT在ubuntu上有两种方式安装：.deb文件/tar文件。
这里介绍通过.tar文件安装的过程。

二. 环境

cuda 9.0
cudnn 7.6.5
anaconda 3.6

三. 安装过程

1.下载安装包

    进入下载链接https://developer.nvidia.com/nvidia-tensorrt-download
    点击 Download Now（需要登录英伟达账号，没有的注册一个）
    选择下载的版本
    完成问卷调查
    选择同意协议
    根据自己的系统版本和 CUDA 版本，选择安装包，如图所示（如果是完整安装，建议选择Tar File Install Packages，这样可以自行选择安装位置）

2. 安装安装包

在命令行里解压tar文件

tar xzf TensorRT-6.0.1.5.Ubuntu-16.04.x86_64-gnu.cuda-9.0.cudnn7.6.tar.gz 

解压之后应该有lib include data等子文件

ls TensorRT-6.0.1.5
bin  data  doc  graphsurgeon  include  lib  python  samples  targets  TensorRT-Release-Notes.pdf  uff

3. 添加环境变量

sudo gedit ~/.bashrc
# 添加一行
export LD_LIBRARY_PATH=/home/zhy/Downloads/soft/TensorRT-6.0.1.5/lib:$LD_LIBRARY_PATH
source ~/.bashrc

4. 安装python版本的tensorRT的.whl文件

注意：执行这步操作时先进入anaconda的环境中
 

conda activate yolov5

cd TensorRT-6.0.1.5/python
pip install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl

如果使用tensorflow的话，需要安装UFF的.whl文件(optional)

cd TensorRT-6.0.1.5/uff
pip install uff-0.6.5-py2.py3-none-any.whl

安装python graphsurgeon的whl文件

cd /TensorRT-6.0.1.5/graphsurgeon
pip graphsurgeon-0.4.1-py2.py3-none-any.whl    

验证是否安装成功，兩種方式

在anaconda环境下打开python

    import tensorrt
    tensorrt.__version__
    '6.0.1.5'

    在命令行中运行以下代码

    cd TensorRT-6.0.1.5/samples/sampleMNIST
    make
    cd TensorRT-6.0.1.5/bin
    ./sample_mnist

 

四. 问题及解决方案

    上边都做完之后，使用trtexec转换onnx到engine或者在python下使用tensorrt报错：

ImportError: libnvinfer.so.6: cannot open shared object file: No such file or directory

 在/etc/ld.so.conf里面加一行/home/zhy/Downloads/soft/TensorRT-6.0.1.5/lib，然后sudo ldconfig.
 

参考文章: ubuntu16.04 anaconda安装TensorRT7.0.0.13

TensorRT安装及使用教程