Win10 系统下部署yolov5-V6.0版本的tensorrt加速推理环境（保姆级填坑版）

Win10 系统下部署yolov5-V6.0版本的tensorrt加速推理环境（保姆级填坑版）

前言

cuda： Compute Unified Device Architecture，是一种有NVIDIA推出的通用并行计算架构， 该架构使GPU能够解决复杂的计算问题。

cudnn： 是NVIDIA 推出的用于深度神经网络的GPU加速库，他强调性能，易用性和低内存开销。

cuda和cudnn的关系： cudnn是基于cuda架构开发的专门用于深度神经网络的GPU加速库

tensorrt是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库，对网络的推理过程进行了深度优化，可以实现非常高的推理速度，实乃不掉精度就能提速的上上策。

一、开始前准备工作

本人电脑是RTX2060 +win10 +vs2017+cuda11.6+cudnn-windows-x86_64-8.5.0.96_cuda11-archive+TensorRT-8.2.5.1+tensorrtx-yolov5-v6.0+opencv-4.6.0-vc14_vc15+cmake-3.24.2-windows-x86_64

1.下载visual studio 2019版本

注意：下载后先安装visual studio 以免后面cuda安装检测不到vs

2.cuda 和 cudnn

查看自己电脑显卡对应的支持cuda版本
win+R打开cmd，输入nvidia-smi，即可看到支持的cuda版本是11.7

可以向下兼容，例如我下载的是cuda11.6版本

注意，以下两个版本的对应关系（cuda和cudnn）

3.下载tensorrt

4.下载tensorrtx

大佬开源

5.下载opencv

6.下载cmakelist

二、安装

1.安装vs2019

默认安装位置，注意：先安装vs，，后再安装cuda，cuda安装时才能检测到vs

2.安装cuda/cudnn

1）安装cuda

安装包直接默认安装即可，注意：安装完成后需要检测一下系统变量是否正常添加，若没有，则必须手动添加。
（我的电脑，右击属性，下拉找到高级系统设置，点击环境变量即可打开下图所示界面。）

若默认安装时出现安装失败，则选择自定义安装，取消以下两个安装选项

2）安装cudnn

Cudnn 安装直接解压即可，解压后将cudnn目录下的bin,include,lib中的文件分别复制粘贴到路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6文件夹下相对应的目录

3）cuda安装测试

打开cmd运行以下指令，
nvcc -V

3.安装opencv

将下载的安装包直接安装，注意：安装后添加如下环境变量

4.安装cmakelist

直接安装下载软件包，出现下图界面时，点击如下选项

5.安装tensorrt

1）安装

文件解压后，
跟cudnn一样，将include下的文件复制到cuda的include文件内
lib下的dll文件复制到cuda 的bin文件夹内
lib下的lib文件复制到cuda 的lib/x64文件夹内

2）测试

进入到TensorRT-8.2.5.1\samples\sampleMNIST文件夹内，vs2019打开sample_mnist.sln文件
然后依次点击 项目—>属性—>VC++目录
将路径D:\yolov5\TensorRT-8.2.5.1\lib分别加入可执行文件目录及库目录里
将D:\yolov5\TensorRT-8.2.5.1\lib\include加入C/C++ —> 常规 —> 附加包含目录
将nvinfer.lib、nvinfer_plugin.lib、nvonnxparser.lib和nvparsers.lib加入链接器–>输入–>附加依赖项
将C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib加入链接器->常规->附加库目录


配置好相关包含目录和附加库等选项后，点击生成解决方案，生成后点击运行，出现下图所示即表示测试成功。

注意：点击运行时若出现缺少相关dll链接库函数的报错，按照提示下载对应名称的dll，并放置到对应路径后即可运行成功。

到此软件的下载以及安装配置基本完成。