深度学习模型部署之安装TensorRT windows11+vs2022+TensorRT8.0.1+cuda11.5+cuDNN8.2.0

本文参考Nvidia的官方链接

本文包含在 Windows 11 上从 zip 包安装 TensorRT 的说明。

在你开始之前
确保您已安装了CUDA11.5+cuDNN8.2.0
作者一开始是用CUDA11.5+cuDNN8.3.1安装，但是安装完成后一直报错“Could not load library cudnn_cnn_infer64_8.dll. Error code 126”
后来参考https://stackoverflow.com/questions/69879188/could-not-load-library-cudnn-cnn-infer64-8-dll-error-code-126， 将cuDNN8.3.1安装成了cuDNN8.2.0，然后错误顺利解决。

安装过程：

1. 下载与您正在使用的 Windows 版本匹配的 TensorRT zip 文件。
   nvidia官方网站下载TensorRT8.0.1，解压到指定目录中（注：TensorRT分为GA和EA版本，EA是提前发布的不稳定版本，GA是经过完备测试的稳定版本）

2. 选择要安装 TensorRT 的位置。 zip 文件会将所有内容安装到名为 TensorRT-8.x.x.x
   的子目录中。在下面的步骤中，这个新的子目录将被称为 。

3. 将 TensorRT-8.x.x.x.Windows10.x86_64.cuda-x.x.cudnn8.x.zip
   文件解压缩到您选择的位置。这里面：
   1. 8.x.x.x 是您的 TensorRT 版本
   2. cuda-x.x 是 CUDA 版本 10.2 或 11.6
   3. cudnn8.x 是 cuDNN 版本 8.3

4. 将 TensorRT 库文件添加到系统 PATH。有两种方法可以完成此任务：
   4.1 将 DLL 文件保留在解压缩的位置，并将 /lib 添加到系统 PATH。您可以使用以下步骤将新路径添加到系统 PATH。
   4.1.1 按 Windows 键并搜索“环境变量”，它应该会显示选项编辑系统环境变量并单击它。
   4.1.2 单击窗口底部的环境变量…。
   4.1.3 在系统变量下，选择路径并单击编辑…。
   4.1.4 单击新建或浏览以添加包含 /lib 的新项目。
   4.1.5 继续点击确定，直到所有新打开的窗口都关闭。
   4.1.6 如果您的 cuDNN 库未复制到 CUDA 安装目录，而是留在解压缩的位置，则对 cuDNNbin 目录重复上述步骤。
   4.2 将 DLL 文件从/lib 到您的 CUDA 安装目录，例如 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin，其中 vX.Y 是您的 CUDA 版本。 CUDA 安装程序应该已经将 CUDA 路径添加到系统 PATH 中。

5. 从 /python 安装 TensorRT Python wheel文件之一：python.exe -m pip install tensorrt-*-cp3x-none-win_amd64.whl

6. 要验证您的安装是否正常工作，您应该从示例之一（例如 sampleMNIST）打开 Visual Studio 解决方案文件，并确认您能够构建和运行示例。如果您想在自己的项目中使用 TensorRT，请确保您的 Visual Studio 解决方案项目属性中存在以下内容：
   6.1 /lib 已添加到您的 PATH 变量中，并出现在 VC++ 目录 > 可执行目录下。
   6.2 /include 位于 C/C++ > General > AdditionalDirectories 下。
   6.3 nvinfer.lib 和您的项目所需的任何其他 LIB 文件都位于 Linker > Input > Additional Dependencies 下。
   注意：为了构建包含的示例，您应该安装 Visual Studio 2022。社区版足以构建 TensorRT 示例。

7. 如果您使用的是 TensorFlow 或 PyTorch，请安装所有 uff、graphsurgeon 和 onnx_graphsurgeon wheel包。在安装 uff、graphsurgeon 或 onnx_graphsurgeon 之前，您必须准备好 Python 环境。
   如果使用 Python 3.x

    ```python
    python3 -m pip install \graphsurgeon\graphsurgeon-0.4.5-py2.py3-none-any.whl
    python3 -m pip install \uff\uff-0.6.9-py2.py3-none-any.whl
    python3 -m pip install \onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
    
    ```