TensorRT环境配置(2023完整版)

配置TensorRT环境需要配置CUDA、CUDNN、英伟达显卡驱动

  • 安装顺序是先英伟达显卡驱动,CUDA,CUDNN,如果已经安装就可以跳过

可以用命令查询CUDA和英伟达驱动版本,下载对应的CUDNN:

nvidia-smi

类似这样,如图我的显卡驱动版本为515.65.01,CUDA版本为11.7

安装CUDNN

  1. 到官网下载对应CUDA版本的CUDNN,链接如下:

深度神经网络

下载需要英伟达账号:
  1. 下载对应的cudnn版本,这里附上tar版本的cudnn安装方式。这个版本适配CUDA11.x

TensorRT环境配置(2023完整版)_第1张图片  

tar -xvf cudnn-linux-x86_64-8.5.0.96_cuda11-archive.tar.xz
cd cudnn-linux-x86_64-8.5.0.96_cuda11-archive/include/
sudo cp cudnn*.h /usr/local/cuda/include
cd ../lib/
sudo cp libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

实际上就是把cudnn包里面的include和lib分别复制添加到cuda的文件中。

 TensorRT环境配置(2023完整版)_第2张图片

安装TensorRT

TensorRT下载网址:

NVIDIA TensorRT

这里的版本适配CUDA11.0-11.7,TensorRT8.4,Tar版本安装

tar zxf TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
sudo mv TensorRT-8.4.1.5 /opt

sudo gedit ~/.bashrc
添加:export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT-8.4.1.5/lib
source ~/.bashrc

TensorRT环境配置(2023完整版)_第3张图片

复制TensorRT目录下 lib、include文件夹到系统文件夹(或者将这两个文件夹路径添加到.bashrc文件中)

sudo cp -r ./lib/* /usr/lib
sudo cp -r ./include/* /usr/include

安装python相关依赖(有需要安装),我的python环境是3.9,注意安装对应版本的.whl,在文件夹下有各种版本的whl

cd python
conda activate Wheel
pip install pycuda
pip install tensorrt-8.4.1.5-cp39-none-linux_x86_64.whl

完成上面的步骤之后就可以使用TensorRT转化部署权重文件了,可以从github上拉一下yolo的代码,利用里面的export代码验证安装是否成功,下面是yolo运行export的命令:

python export.py --weights yolov5s.pt --include onnx engine --device 0

看到报出export success即为转化配置成功,得到onnx和engine后缀的转化权重

TensorRT环境配置(2023完整版)_第4张图片

你可能感兴趣的:(python,linux,ubuntu,人工智能,深度学习)