Windows YOLOv5-TensorRT部署

环境

CUDA 11.1

OpenCV 4.5.1（不限制版本）

TensorRT 7.2

VS2019

TensorRT安装测试

1、将TensorRT压缩包解压

2、将 TensorRT-7.2.1.6\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include

3、将TensorRT-7.2.1.6\lib中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64
4、将TensorRT-7.2.1.6\lib中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\bin

验证TensorRT是否安装成功

 1-用VS2019打开 TensorRT-7.2.1.6\samples\sampleMNIST\sample_mnist.sln
 2- 在VS2019中，右键工程，选择属性->配置属性->常规->目标平台版本->10.0
 3- 在VS2019中，右键工程，选择属性->配置属性->常规->平台工具集->vs2019(v142)
 4- 右键工程->重新生成
 5- 用anaconda 进入TensorRT-7.2.1.6\data\mnist目录，运行python download_pgms.py
 6- 进入TensorRT-7.2.1.6\bin，双击sample_mnist.exe，如果没有报错则说配置成功。

这样就是安装成功了

配置VS 

    注：下面步骤可能会导致程序异常，请配置时一定要仔细！

属性

 选择VC++目录->包含目录

 选择 VC++目录->库目录

 选择 链接器->输入->附加依赖项（opencv动态库+CUDA动态库）

 导出权重文件

准备好训练完的best.pt

打开gen_wts.py文件，终端输入命令：python gen_wts.py -w best.pt

运行结束后会生成best.wts文件

生成engine

找到yolov5T文件夹,打开yolov5T.sln，打开yolov5T.cpp

先将wts文件路径输入，再将下面改为-s

运行需要一些时间，成功后的效果如下：

 

 我们输入engine文件路径和图片路径，将下面-s改为-d

选择 生成->重新生成解决方案，之后运行

运行效果：

基本上每张图检测速度大约在8ms左右

 OK，到这里我们就部署成功了

需要代码的小伙伴请评论区留言哈

第一次发博客，希望能和大家一起讨论并学习