TensorRT的结构

TensorRT的结构_第1张图片

TensorRT的结构_第2张图片

TensorRT的结构_第3张图片

TensorRT的结构_第4张图片

Builder(网络原数据):模型搭建的入口,网络的tensorRT内部表示以及可执行程序引擎都是由该对象的成员方法生成的

        BuiderConfig(网络原数据的选项):负责设置模型的一些参数,如是否开始fp16模式,in8模式等等

        Network(计算图内容):网络的主体,在使用api搭建网络的过程当中,将不断地向其中添加一些层,并标记网络的输入输出节点,在其他两种workflow中,则使用Parser来加载来自Onnx文件中的网络,就无需一层一层手工添加

        SerializedNetwork:模型网络在TRT中的内部表示,可用它生成可执行的推理引擎或者把它序列化保存为文件,方便以后读取和使用

        Engine:推理引擎,是模型计算的核心,可理解为可执行程序的代码段

        context:用于计算GPU的上下文。类比于cpu上的进程概念进程,是执行推理引擎的主体

        buffer相关(数据的内存、显存相关):我们将需要把数据从cpu端搬到gpu端,执行推理计算后,再把数据由gpu端搬回cpu端。这些步骤涉及内存的申请、拷贝和释放,需要借助CUDA库或者扩大python库才能完成

        excute:调用计算核心执行推理计算的具体过程 

        善后工作:还有一些外围的工作需要手工去完成

TensorRT的结构_第5张图片

你可能感兴趣的:(矩阵,c++,算法)