Win10系统安装TensorRT

环境搭建系列文章目录

一、Win10系统安装GPU版本CUDA、Cudnn
二、Win10系统安装TensorRT

---

---

TensorRT简介

Tips：理论指引实践

TensorRT是一个高性能的深度学习推理（Inference）优化器，支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。
参考：TensorRT(1)-介绍-使用-安装

---

一、版本对应关系

CUDA与cuDNN版本必须对应！必须对应！必须对应！并且分CPU与GPU两个版本。TensorRT版本可向下兼容多个CUDA版本。

对应版本参考：
Nvidia CUDA, cuDNN, TensorRT，驱动以及架构之间的相互兼容关系

二、下载及安装

1.TensorRT

下载地址：
NVIDIA TensorRT Download

因为TensorRT向下兼容，所安装CUDA为11.3GPU版本，因此可以选择TensorRT 8.5 GA版本。

PS：EA 代表抢先体验。GA 表示稳定版，经过全面测试。

1.解压安装包并粘贴到CUDA内
2.复制移动文件
将include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\include\
将lib中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\lib\x64\
将lib中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin\

3.安装whl文件
pip一共需安装4个whl文件，分别在graphsurgeon、onnx_graphsurgeon、python、uff文件夹内。
可直接复制（需要根据具体位置进行修改）：
1. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl
2. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
3. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\python\tensorrt-8.5.1.7-cp39-none-win_amd64.whl
4. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\uff\uff-0.6.9-py2.py3-none-any.whl

PS：1.如果存在问题，可以先cd到文件夹中再进行安装；2.python文件夹中需选择对应cp即python版本。

import库，验证是否安装成功：

运行示例，验证是否安装成功：
示例所在文件夹：
TensorRT-8.5.1.7\samples\python\network_api_pytorch_mnist

2.No module named ‘pycuda’ & pycuda安装失败

验证过程中可能会出现No module named ‘pycuda’ 问题，若直接选择pip install pycuda的方法，由于会默认安装最新版本，可能会出现版本不匹配的问题。
因此选择下载安装包的方式进行本地安装。
下载地址：
PyCUDA下载
选择与已安装的win/CUDA/python相匹配的pycuda.whl文件下载并本地安装：

PS：若没有与环境匹配的pycuda版本，
安装完成后，在anaconda3的yolo环境中有相应库：

---

总结

祝一次安装成功。

参考文献

yolov5部署之七步完成tensorRT模型推理加速
WIN10安装配置TensorRT详解