[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证

背景

在使用YOLO8进行缺陷检测中,我们会使用到NVIDIA GPU进行训练和推理,本文简单介绍了CUDA、cuDNN和TensorRT,然后告诉你如何进行一步一步地进行安装并验证他们是否安装成功。

前提条件:CUDA,cuDNN,TensorRT都是针对NVIDIA显卡的软件,因此在执行安装之前,先确认你的电脑有没有安装有NVIDIA的独立显卡。

通过“设备管理器”查看你的电脑上是否包含NVIDIA 显卡:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第1张图片

什么是CUDA?

CUDA(Compute Unified Device Architecture)是由NVIDIA公司开发的一种并行计算平台和API模型,它允许使用NVIDIA的图形处理器(GPU)进行通用计算。CUDA可以显著提高GPU的计算能力,使其能够处理复杂的数学运算、图像处理、深度学习等任务。通过将计算任务分配给GPU上的多个线程,CUDA可以实现高性能并行计算,从而加速各种应用程序的开发和运行。

CUDA Toolkit Documentation 12.3 Update 1 (nvidia.com)

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第2张图片

什么是cuDNN?

cuDNN(CUDA Deep Neural Network Library)是NVIDIA公司开发的一个针对深度神经网络的GPU加速库。cuDNN包含了一系列用于加速卷积神经网络、循环神经网络等深度学习算法的函数库,这些函数库可以利用GPU的并行计算能力来提高深度学习模型的训练和推理速度。cuDNN支持多种主流深度学习框架,如TensorFlow、PyTorch、Caffe等,使得开发者可以方便地将深度学习模型部署到GPU上进行加速计算。 

CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第3张图片

什么是TensorRT?

TensorRT是NVIDIA公司开发的一个高性能深度学习推理(inference)库,它可以将训练好的深度学习模型优化并转换为GPU上的高性能推理引擎。TensorRT使用静态图分析和动态优化技术来减少模型的内存占用、提高推理速度,同时支持多种深度学习框架,如TensorFlow、PyTorch、Caffe等。TensorRT还提供了一些高级功能,如混合精度计算、多卡并行计算、模型量化等,可以帮助开发者更高效地部署和管理深度学习模型。

TensorRT SDK | NVIDIA Developer

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第4张图片

Windows下如何安装CODA?

前提条件:先安装CUDA。

CUDA Installation Guide Windows 12.3 (nvidia.com)

下载CUDA

CUDA Toolkit Archive | NVIDIA Developer

下载你需要的版本,12.*版本,似乎Tensort推理库还没有支持,我这里暂时用 11.8,后续等Tensort支持12.*了,再升级。

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第5张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第6张图片 点击“Download”下载到本地磁盘,安装文件比较大,建议用迅雷下载,速度飞起。

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第7张图片

安装CUDA

鼠标双击“cuda_11.8.0_522.06_windows.exe”

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第8张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第9张图片 [YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第10张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第11张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第12张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第13张图片

这个安装包好几个G,我们不要直接安装到系统盘(C:)了,我这里修改到D盘:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第14张图片

这里要吐槽一下,“浏览...”的功能无法创建新目录,只能自己打开D盘,先创建好目录,在重新进行浏览选中刚刚创建好的目录。

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第15张图片

注意:这里提示没有找到Vusial Studio,本来是打算勾选,点击“NEXT",但是可能会导致某些功能出问题,没有办法,最后还是选则了“取消”安装。

[Visual Studio] 基础教程 - Window10下如何安装VS 2022社区版

安装好Visual Studio 2022社区版后,再次点击“exe”,重新安装,前面的保持同样的步骤,到这来就不会报“No supported version of Visual Studio was found.”的错误了,直接进行VS 设置阶段:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第16张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第17张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第18张图片

安装完成之后,查看一下前面的临时解压目录:“C:\Users\Jim\AppData\Local\Temp\CUDA”是否被删除了,如果没有,手动删除。

最后,务必把安装目录下的的bin目录添加到(我这里是“D:\MyDev\Cuda11.8\bin”),否则后面会验证的步骤,会报nvcc命令找不到,或者dll找不到的错误。

如何验证CODA安装成功

方式一

进入你选定的安装目录地下的子目录“.\extras\demo_suite”,

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第19张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第20张图片

方式二

打开“NVIDIA Control Panel”:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第21张图片

点击左下角“系统信息”:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第22张图片

 方式三

打开命令行窗口,运行“nvcc --version”:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第23张图片

Windows下如何安装cuDNN?

前提条件:先安装CUDA。

Installation Guide - NVIDIA Docs

下载cuDNN

CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第24张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第25张图片 注册或使用已有的NVIDIA账号进行登陆(可能需要打开你的电子邮箱点击通过验证):

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第26张图片 cuDNN Download | NVIDIA Developer

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第27张图片

这里的cuDNN要和你使用cuda版本保持一致,否则无法正常使用cuDNN: 

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第28张图片

安装cuDNN

解压下载的压缩包:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第29张图片

复制bin下的所有文件到cuda安装目录的bin目录:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第30张图片复制lib下的所有文件到cuda安装目录的lib目录:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第31张图片

复制include下的所有文件到cuda安装目录的include目录:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第32张图片

如何验证cuDNN安装成功?

可以通过创建VS VC++工程,调用里面的相关函数进行验证:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第33张图片

Windows下如何安装TensorRT?

前提条件:先安装CUDA。

Installation Guide :: NVIDIA Deep Learning TensorRT Documentation

下载TensorRT

TensorRT SDK | NVIDIA Developer

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第34张图片

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第35张图片[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第36张图片 这里下载和cuda版本一致的11.8版本。咦,喜讯呀,好像TensorRT开始支持12.*了,看来后续可以升级到12.*。

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第37张图片

安装TensorRT

解压下载的安装包:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第38张图片

复制bin下的所有文件到cuda安装目录的bin目录:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第39张图片

复制lib下的所有文件到cuda安装目录的lib目录:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第40张图片

复制include下的所有文件到cuda安装目录的include目录:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第41张图片

如何验证安装成功?

打开命令行窗口,运行“trtexec.exe -h”:

[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍,安装与验证_第42张图片

Linux下如何安装CODA?

CUDA Installation Guide for Linux (nvidia.com)

Linux下如何安装cuDNN?

Installation Guide - NVIDIA Docs

Linux下如何安装TensorRT?

Installation Guide :: NVIDIA Deep Learning TensorRT Documentation

你可能感兴趣的:(YOLO,深度学习,YOLO,CUDA,cuDNN,TensorRT)