8.4.tensorRT高级(3)封装系列-infer推理封装，输入输出tensor的关联
目录
-
- 前言
- 1. infer封装
- 总结
前言
杜老师推出的 tensorRT从零起步高性能部署 课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
本次课程学习 tensorRT 高级-infer推理封装，输入输出tensor的关联
课程大纲可看下面的思维导图
1. infer封装
这节我们学习对 infer 的封装
对 infer 进行封装，有了基本组件，可以拼接一个完整的推理器，而且该推理器的思想可以应用到很多框架作为底层，并不只限制于 tensorRT，还可以是 rknn、openvino 等
我们先来看代码
trt-infer.hpp
#ifndef TRT_INFER_HPP
#define TRT_INFER_HPP
#include rtr-infer.cpp
#include "trt-infer.hpp"
#include 这次对 infer 的封装我们使用了 RAII + 接口模式两个特性
在头文件中我们可以看到 Infer 推理类是一个纯虚类，它是一个接口类，其核心函数是 forward，其它的函数都是服务于 forward 的，我们通过 load_infer 函数来进行初始化，这里体现了 RAII
在 forward 的实现中，我们对 context 还做了一层封装，对于输入和输出我们直接使用的是上节课封装的 Tensor 来实现的，因此我们实际上只用操作 input 和 output，然后调用 forward 即可
infer 的封装为 TensorRT 推理提供了一个高级封装。这个封装使用了 RAII 和接口设计模式，确保了资源的正确和高效管理，并为用户提供了一个清晰、一致的接口。主要的类 InferImpl 实现了所有关于模型加载、执行推理、张量管理的核心功能，而外部 API 为用户提供了简单的方法来加载模型、设置 device、初始化插件等。此外，该封装还考虑了 CUDA 流的管理和同步，以及 TensorRT 的日志处理
我们再来看看 main.cpp 部分：
void inference(){
auto engine = TRT::load_infer("engine.trtmodel");
if(engine == nullptr){
printf("Deserialize cuda engine failed.\n");
return;
}
engine->print();
auto input = engine->input();
auto output = engine->output();
int input_width = input->width();
int input_height = input->height();
...
engine->forward(true);
}
可以看到在推理部分直接 load_infer 加载推理引擎，然后准备好 input 和 output，随后直接执行 forward 就可以完成推理，非常方便。
可以看到我们的程序更简单，更简洁清晰，这其实是 RAII+接口模式+builder封装+memory封装+tensor封装+infer封装 最后实现的效果
具体细节还是得多去看代码才行
总结
本次课程我们学习了 infer 的封装，主要是采用我们之前提到的 RAII + 接口模式，Infer 类是一个接口类，具体实现类 InferImpl 被隐藏在 CPP 文件中，封装完后的推理过程非常简洁，直接创建推理引擎，然后准备好输入输出，最后执行 forward 就行。能做到如此简洁主要是靠 RAII+接口模式+builder封装+memory封装+tensor封装+infer封装 最终呈现的结果。