[YOLOv8] 缺陷检测之(CUDA、cuDNN、TensorRT)介绍，安装与验证

背景

在使用YOLO8进行缺陷检测中，我们会使用到NVIDIA GPU进行训练和推理，本文简单介绍了CUDA、cuDNN和TensorRT，然后告诉你如何进行一步一步地进行安装并验证他们是否安装成功。

前提条件：CUDA，cuDNN，TensorRT都是针对NVIDIA显卡的软件，因此在执行安装之前，先确认你的电脑有没有安装有NVIDIA的独立显卡。

通过“设备管理器”查看你的电脑上是否包含NVIDIA 显卡：

什么是CUDA?

CUDA(Compute Unified Device Architecture)是由NVIDIA公司开发的一种并行计算平台和API模型，它允许使用NVIDIA的图形处理器(GPU)进行通用计算。CUDA可以显著提高GPU的计算能力，使其能够处理复杂的数学运算、图像处理、深度学习等任务。通过将计算任务分配给GPU上的多个线程，CUDA可以实现高性能并行计算，从而加速各种应用程序的开发和运行。

CUDA Toolkit Documentation 12.3 Update 1 (nvidia.com)

什么是cuDNN?

cuDNN(CUDA Deep Neural Network Library)是NVIDIA公司开发的一个针对深度神经网络的GPU加速库。cuDNN包含了一系列用于加速卷积神经网络、循环神经网络等深度学习算法的函数库，这些函数库可以利用GPU的并行计算能力来提高深度学习模型的训练和推理速度。cuDNN支持多种主流深度学习框架，如TensorFlow、PyTorch、Caffe等，使得开发者可以方便地将深度学习模型部署到GPU上进行加速计算。 

CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

什么是TensorRT?

TensorRT是NVIDIA公司开发的一个高性能深度学习推理(inference)库，它可以将训练好的深度学习模型优化并转换为GPU上的高性能推理引擎。TensorRT使用静态图分析和动态优化技术来减少模型的内存占用、提高推理速度，同时支持多种深度学习框架，如TensorFlow、PyTorch、Caffe等。TensorRT还提供了一些高级功能，如混合精度计算、多卡并行计算、模型量化等，可以帮助开发者更高效地部署和管理深度学习模型。

TensorRT SDK | NVIDIA Developer

Windows下如何安装CODA？

前提条件：先安装CUDA。

CUDA Installation Guide Windows 12.3 (nvidia.com)

下载CUDA

CUDA Toolkit Archive | NVIDIA Developer

下载你需要的版本，12.*版本，似乎Tensort推理库还没有支持，我这里暂时用 11.8，后续等Tensort支持12.*了，再升级。

 点击“Download”下载到本地磁盘，安装文件比较大，建议用迅雷下载，速度飞起。

安装CUDA

鼠标双击“cuda_11.8.0_522.06_windows.exe”

 

这个安装包好几个G，我们不要直接安装到系统盘（C：）了，我这里修改到D盘：

这里要吐槽一下，“浏览...”的功能无法创建新目录，只能自己打开D盘，先创建好目录，在重新进行浏览选中刚刚创建好的目录。

注意：这里提示没有找到Vusial Studio，本来是打算勾选，点击“NEXT"，但是可能会导致某些功能出问题，没有办法，最后还是选则了“取消”安装。

[Visual Studio] 基础教程 - Window10下如何安装VS 2022社区版

安装好Visual Studio 2022社区版后，再次点击“exe”，重新安装，前面的保持同样的步骤，到这来就不会报“No supported version of Visual Studio was found.”的错误了，直接进行VS 设置阶段：

安装完成之后，查看一下前面的临时解压目录：“C:\Users\Jim\AppData\Local\Temp\CUDA”是否被删除了，如果没有，手动删除。

最后，务必把安装目录下的的bin目录添加到（我这里是“D:\MyDev\Cuda11.8\bin”）,否则后面会验证的步骤，会报nvcc命令找不到，或者dll找不到的错误。

如何验证CODA安装成功

方式一

进入你选定的安装目录地下的子目录“.\extras\demo_suite”，

方式二

打开“NVIDIA Control Panel”:

点击左下角“系统信息”：

 方式三

打开命令行窗口，运行“nvcc --version”:

Windows下如何安装cuDNN?

前提条件：先安装CUDA。

Installation Guide - NVIDIA Docs

下载cuDNN

CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

 注册或使用已有的NVIDIA账号进行登陆（可能需要打开你的电子邮箱点击通过验证）:

 cuDNN Download | NVIDIA Developer

这里的cuDNN要和你使用cuda版本保持一致，否则无法正常使用cuDNN： 

安装cuDNN

解压下载的压缩包：

复制bin下的所有文件到cuda安装目录的bin目录：

复制lib下的所有文件到cuda安装目录的lib目录：

复制include下的所有文件到cuda安装目录的include目录:

如何验证cuDNN安装成功？

可以通过创建VS VC++工程，调用里面的相关函数进行验证：

Windows下如何安装TensorRT?

前提条件：先安装CUDA。

Installation Guide :: NVIDIA Deep Learning TensorRT Documentation

下载TensorRT

TensorRT SDK | NVIDIA Developer

 这里下载和cuda版本一致的11.8版本。咦，喜讯呀，好像TensorRT开始支持12.*了，看来后续可以升级到12.*。

安装TensorRT

解压下载的安装包：

复制bin下的所有文件到cuda安装目录的bin目录:

复制lib下的所有文件到cuda安装目录的lib目录:

复制include下的所有文件到cuda安装目录的include目录:

如何验证安装成功？

打开命令行窗口，运行“trtexec.exe -h”:

Linux下如何安装CODA?

CUDA Installation Guide for Linux (nvidia.com)

Linux下如何安装cuDNN?

Installation Guide - NVIDIA Docs

Linux下如何安装TensorRT?

Installation Guide :: NVIDIA Deep Learning TensorRT Documentation