Windows10 安装TensorRT使用python加速yolov5

前言 必读！

安装流程是基于显卡的，选择相应的版本。

版本选择流程：

• 显卡->驱动->cuda
  • cuda-cuDNN
  • cuda->TensorRT

由显卡选驱动，由支持的驱动下载cuda,由cuda选择cuDNN和TensorRT，最后根据下载的TensorRT检查支持的cuDNN版本。

了解这个流程，你的安装就的心应手了。

安装tensorRT之前你必须更新Nvidia驱动和安装好相应的CUDA了

一、依赖

• Nvidia驱动
• cuda
• cudnn
• python

1.更新显卡驱动

Nvidia驱动下载

产品系列 如果是笔记本选择带notebooks的

下载类型 ：
Game Ready 有对游戏的补丁和游戏支持
Studio驱动程序 稳定质量高
玩游戏的话选第一个，不玩游戏第二个，两个都能用。

2.检查cuda和cuDNN

如果你安装了cuda和cuDNN，检查下版本吧。如果没有跳过检查步骤。

1. 查看cuda版本

nvcc -V

2.查看cudnn路径

Linux

which nvcc

windows

set cuda

3.查看cudnn版本

Linux 路径请调整为上面查到的路径

cat /usr/local/cuda/cudnn.h |grep CUDNN_MAJORR -A 2

Windos

（默认的路径 C:\Program Files\NVIDIA\CUDNN\v10.x）

切换盘符(如有需要)

C:> G:

切换到include路径下 路径请调整为上面查到的路径

G:> cd G:\NVIDA GPU Computing Toolkit\CUDAv10.1\include

打开版本文件，查看版本

G:> cudnn_version.h

从上到下就是你的版本号

#define CUDNN_MAJOR 8
#define CUDNN_MAJOR 3
#define CUDNN_PATCHLEVEL 2

版本为8.3.2

利用pytorch查看版本

python #进入python

>>>import torch
>>>print(torch.\__version__)
>>>print(torch.version.cuda)
>>>print(torch.backends.cudnn.version())
>>>exit() #退出

二、安装CUDA

查看支持版本

nvidia-smi 

右上角是支持的版本，安装相应的或者比这低的。

1.下载

注意！不要下载最新版。可能没有匹配的cudnn和tensorRT。别问我怎么知道的。。。是的，那个蠢蛋就是我，我下了。

下载地址：https://developer.nvidia.com/cuda-toolkit-archive

2.安装

选择安装即可，注意路径，和查看安装的组件，不要安装驱动,里面的驱动比较旧了
Driver components是驱动组件，第四个是用来加速游戏的。

只安装CUDA即可。

三、安装cuDNN

1.下载并解压

下载对应版本的

cuDNN下载地址

2.复制

将cudnn下的bin、include、lib文件夹里的文件复制到

CUDA安装路径下bin、include、lib文件夹里即可

3. 添加环境变量

一般安装cuda的时候自己添加好了。
将cuda里的bin、include、lib添加到环境变量中

4.下载cuDNN需要的库

下载一个zlib包，解压缩后找到zlibwapi.dll文件，复制粘贴到C:\Windows\System32位置下面（这是cudnn需要的数据压缩软件库）
下载地址：http://www.winimage.com/zLibDll/zlib123dllx64.zip

四、安装tensorRT

1.下载TensorRT

根据你的cuda版本下载tensorRT。！选择windows版本的。

下载地址:https://developer.nvidia.com/nvidia-tensorrt-download

下载的好的zip包你可以看到支持的cuda和cudnn版本！

如果不是相应版本，请重新安装cudnn。我们是根据cuda选的tensorRT。所以cuda不会有错。

再次检查版本！

2.解压

解压后将tensorrt中lib文件夹下的所有dll文件复制到安装的CUDA的bin文件夹下

3.添加环境变量

把TensorRT下的lib文件夹路径添加到系统环境变量中

4.安装库

(1)激活环境

重新打开cmd并激活你的环境

conda activate

切换到TensorRT文件夹的路径下

cd xxxxx/xxxxx/TensorRT-x.x.x.x

查看文件

dir

我们需要的是graphsurgeon， onnx-graphsurgeon， python， uff这几个文件夹下的python wheel文件

(2) 安装

安装时文件名使用tab键自动补全

a. 安装Python下whl文件
cd python
dir #有多个支持python版本的轮子文件
python -V # 查看python版本
pip install tensorrt-xxxxxxcp当前环境下python版本.whl
剩下的直接装就行了，每个文件夹就一个wheel轮子文件。

b.安装uff下的whl文件
tensorflow需要的，顺手安装上。

pip install uff/uff-0.6.9-py2.py3-none-any.whl

c.安装graphsurgeon下的whl文件

pip install graphsurgeon/graphsurgeon-x.x.x-py2.py3-none-any.whl

d.安装onnx-graphsurgeon下的whl文件

pip install onnx-graphsurgeon/onnx-graphsurgeon-x.x.x-py2.py3-none-any.whl

5.测试

a.利用python测试

>python 
>>>import tensorrt
>>>print(tensorrt.__version__)

b. c/c++测试

稍稍麻烦些，以后补。

---

---

到这里安装tensorRT全部内容已经结束了。后面是选读。

---

---

附1：安装pycuda

如果需要使用pycuda的话

1.直接pip安装

pip install 'pycuda<2021.1' #官网8.4.*版本提供的命令

2.手动安装（推荐）

进入cuda网站，下载对应版本的pycuda轮子文件。

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycuda

cuda102就是10.2版本的，cp39就是python3.9，win_amd64就是64位系统。

cd到下载文件夹，激活环境使用pip安装

cd #进入下载路径
conda activate <环境名>
pip install pycuda-2021.1+cudaxxx-cp39-cp39-xxx.whl #tab自动补全

3. 测试

切换到tensorRT的路径下，进入samples提供样例文件夹

cd /usr/local/TensorRT-x.x.x.x/samples/python/network_api_pytorch_minist/
python sample.py #执行样例

他会下载训练集，进行训练然后测试。需要一段时间

附2：加速yolov5

看我另一篇博客。
http://t.csdn.cn/U4LFw