【知识---如何利用TensorRT（NVIDIA Deep Learning Inference Library）引擎序列化为内存中的二进制数据流】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

TensorRT（Tensor Real-Time）是由 NVIDIA 提供的用于深度学习推断的高性能推理库。它针对 NVIDIA GPU 进行了优化，旨在提供低延迟和高吞吐量的深度学习推断。

那么如何利用TensorRT进行一个引擎序列化呢？？？

下面对于几行代码进行说明！！！

---

TensorRT 的主要特点和功能

深度学习推断优化： TensorRT 主要用于优化深度学习模型的推断阶段，加速模型在生产环境中的运行速度。

支持常见框架： TensorRT 支持通过 TensorFlow、PyTorch 和 ONNX 等主流深度学习框架训练的模型。

精度混合： TensorRT 支持在推理时使用混合精度计算，即同时使用 FP16（半精度）和FP32（单精度）来加速推断，并在保持模型精度的同时提高性能。

动态尺寸支持： TensorRT 允许在运行时动态调整输入张量的尺寸，使得模型适应不同大小的输入。

层融合和内存优化： TensorRT 通过层融合（Layer Fusion）和内存优化等技术，减少模型的计算负担，提高推理速度。

支持多种硬件： TensorRT 支持多种 NVIDIA GPU 架构，包括 Pascal、Volta、Turing 和 Ampere。

插件支持： TensorRT 提供插件接口，允许用户集成自定义层和运算符，以满足特定的应用需求。

案例

void APIToModel(unsigned int maxBatchSize, IHostMemory** modelStream) {
    // Create builder
    IBuilder* builder = createInferBuilder(gLogger);

    // Create model to populate the network, then set the outputs and create an engine
    ICudaEngine* engine = createEngine(maxBatchSize, builder, DataType::kFLOAT);
    assert(engine != nullptr);

    // Serialize the engine
    (*modelStream) = engine->serialize();

    // Close everything down
    engine->destroy();
    builder->destroy();
}

IBuilder* builder = createInferBuilder(gLogger);:

创建一个 TensorRT 构建器对象。createInferBuilder 函数根据给定的日志记录器（gLogger）创建一个 TensorRT 构建器。日志记录器用于记录 TensorRT 的消息和警告。

ICudaEngine* engine = createEngine(maxBatchSize, builder, DataType::kFLOAT);:

使用构建器创建一个 TensorRT 引擎。createEngine 函数接受最大批处理大小、构建器和数据类型作为参数，然后创建一个 TensorRT 引擎。这个引擎将被用于构建和运行深度学习推断。

其中createEngine 函数需要进一步书写!!!!

(*modelStream) = engine->serialize();:

序列化 TensorRT 引擎。serialize 方法将引擎的配置和权重序列化为二进制数据流，并将其存储在 IHostMemory 对象中。这个对象在函数调用结束后将包含引擎的序列化表示。

engine->destroy();:

销毁 TensorRT 引擎。在序列化引擎之后，不再需要原始的引擎对象，因此可以将其销毁以释放资源。

builder->destroy();:

销毁 TensorRT 构建器。在序列化引擎之后，不再需要构建器对象，因此可以将其销毁以释放资源。

---

总结

以上， 这段代码的目的是创建一个 TensorRT 引擎，将其序列化为内存中的二进制数据流，并在结束时释放相关资源。

序列化后的引擎可以在其他地方重新加载和使用。

不足之处，请大家斧正！！！