TensorRT框架解析

简介：

官网网址：

Installation Guide :: NVIDIA Deep Learning TensorRT Documentation

NVIDIA TensorRT 的核心是一个C++库。 这有助于在 NVIDIA 图形处理单元 （GPU） 上进行高性能推理。 TensorRT 采用经过训练的网络，该网络由一个网络定义和一组 训练参数，并生成高度优化的运行时引擎，该引擎执行 该网络的推理。

TensorRT提供C++和Python的API，有助于实现深度学习模型。

TensorRT的整个流程包括：模型解析、引擎优化、推理

模型解析

一定要在最终部署的机器或者相同的硬件配置上进行！

模型方面有两种方法：

1、以onnx格式的经过训练的模型作为输入，并用TensorRT填充网络对象

2、使用gen_wts.py存储权重，利用C++代码调用TensorRT+API构建模型结构，加载gen_wts.py产生的权重组成完整引擎

引擎优化

主要完成模型转换，在模型转换时会完成前述优化过程中的层间融合，精度校准。这一步是针对特定的GPU平台和网络模型的优化过的TensorRT模型

推理

首先反序列化，并创建一个runtime engine，然后可以输入数据（图片），输出检测结果。

整体流程

1. 导入模型，将原始框架转换为TensorRT网络，onnx是深度学习常用的模型；
2. 输入模型、目标GPU平台和指定的配置参数，构建优化引擎；
3. 想TensorRT引擎提供输入数据进行推理

先写这点，之后再完善在程序上使用