TensorRT教程
本教程不适用于CUDA新手
前言：
TensorRT简单介绍
现在TRT出了dynamic shape，重新应用与语音领域，成功一半。（目前在腾讯）
闭源部分就是官方提供的库，是TRT的核心部分；
开源部分在github上，包含Parser（caffe， onnx）、sample和一些plugin。
一、 如何选择TensorRT版本
建议使用TensorRT6.0或者TensorRT7.1：(1)GA版本；（2）支持的cuda版本广泛
TensorRT6.0支持的cuda版本广泛，cuda9.0,cuda10.0,cuda10.2不推荐cuda10.1；比如卡AE100,VE100等。
TensorRT7.1支持cuda版本在10.2以上；比较新的卡，P4,T4等。
综合推荐TensorRT6.0
cmake
demo
docker
include
二、编译TensorRT的开源源码
（1）编译使用github上的源码
环境版本：gcc5.3.1 cuda10.0 cudnn-7.6.5
注意gcc>=5.x
下载源码：
git clone -b release/6.0 htttps://github.com/nvidia/TensorRT
cd TensorRT && git submodule update --init --recursive
export TRT_SOURCE=`pwd`
下载库：
tar -xvzf TensorRT-6.0.1.5.Ubuntu-18.04.2.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz
export TRT_RELEASE=`pwd`/TensorRT-6.0.1.5 # 环境变量
mkdir build
cd build
vim ../thied_party/ # 可以省去
编译命令
cmake .. -DTRT_LIB_DIR=$TRT_RELEASE/lib -DTRT_OUT_DIR=`pwd`/out -DCUDA_VERSION=10.0-DPROTOBUF_VERSION=3.6.1
make -j4
DTRT_LIB_DIR:tensorrt内部的路径；
DTRT_OUT_DIR：库，也就是这个开源代码生成的文件夹
DCUDA_VERSION：指定cuda版本
DPROTOBUF_VERSION：指定probuf的版本
注意这里会联网下载指定版本的probuf
编译成功之后。生成的结果在build的out下，可以查看一下
ls
ll /out
(2) 编译库中带的sample
cd ../sample
make
编译的总结：
GCC版本>=5.x
需要联网下载protobuf
如果只需要sample的话，可以用库里带的源码
三、TensorRT 文档
支持的特性
3.1 基本使用方法
使用其他inference上线方式，跟TensorRT比有什么优缺点
libtorch tensorflow servise
方便时很很方面，但缺乏灵活
三个步骤：
- 定义网络
- build,构建网络，也在优化网络
- Inference
TRT Build生成的模型文件（plan file）不是跨平台的，比如在server gpu上生成的plan file不能在板子上跑。同样是server上的卡，跨架构也是不行的，在Tensla T4上生成的，不能在P40上跑。相同架构的卡，是可以的，P40上生成的，可以在P4上跑，但会报warning。
在Build阶段，TRT能做的优化。比较有限。（不怎么通用）
c++ api
- 根据模型结构使用TRT API复现定义网络 network definition
- 使用builder生成一个优化后的engine
- 将engine序列化到文件中，即生成的plan file
- 读取序列化的plan file并做inference
c++ api vs python api
本质上没啥区别，python适合算法人员验证
Tensorrt步骤
1.创建引擎 build engine
Create parser: 创建解析器
Setworkspace 设置工作空间
SetkType 设置推理模式 int8 fp16
Serialize：序列化：可以把一个引擎序列化为一个文件，可以把这个文件反序列化为引擎的一个方法或者说是操作（生成引擎）
Free ： 释放空间
2.构建推理 do_inference
Bind the buffers: 绑定输入和输出，把gpu和cpu的空间想对应起来，通过名字或者id
Create GPU buffers and s stream：创建gpu的空间和它支持的流，（tensorrt可以有多流的执行，多个流或者不同的流中去执行我们的程序，成为不同的引擎。）
Trainsfer data：创建数据
Enqueue：执行
Release the stream and the buffers:
总结：
Ilogger是一个接口，可以在这个接口中定义自己的log格式，可以直接生成一个builder
序列化模型，也就是数组和内存，放在内存中。
building an engine in c++
在build阶段，TRT会根据GPU的特性和输入数据的大小，选择最后的实现算法（比如矩阵乘），所以最好build和inference都在一块显卡上。cudablas tensorrt底层调用算法不一样。（可以自己些一个全连接层，设置不通用的输入大小，查看底层调用的算法。）
谨慎设置max_batch_size
在build阶段，TRT选择最优算法的时候，是需要一定workspace的，所以设置足够的workspace size比较重要。（它会把每一个算法跑一遍，看哪个最快选择哪个，比如卷积，有一种算法，可以直接算，另一个，输入的图像转为矩阵格式，然后再给一个卷积去做矩阵乘，这样的矩阵乘就可以int8；另一种，就是将矩阵战成一个向量）
注意：
序列化顾名思义可就是将engine写到文件中，TRT build阶段比较耗时，可以一半的操作是离线build，并序列化。然后线上反序列化模型文件到inference。
调用context进行inference操作。
Engine内存储网络结构、模型参数以及必要的存储空间。
context则存储网络的中间结果。
多个context可以共享一个engine，即共享权值。这样效率比较高。
TRT显存管理
TRT显存管理，在生成context的时候，trt会根据maxBatch先开辟足够的显存。如果不想在生成context的时候开辟显存，则使用createExecutionWithoutDeviceMemory这个接口生成context。
支持自定义显存申请接口。
不重新build的情况下，更新engine中的权值
实例：
api构建网络
sampleMINISTAPI.cpp 重点：build
parser构建网络
sampleMINIST.cpp
3.2 TRT可借鉴的代码样例
看一下头文件：Nvinfer.h
layerType
第一个onnx的pa
build_op_inporters.cpp讲解了onnx转为trt
tensorflowd的tensorlow2tensorrt
3.3 plugin
3.3.1 plugin 例子和原理
-
溜一下文档（第四章）
TRT支持的Layer有限：（1）不支持的操作可以自己写plugin；（2）合并优化（比如两个op合并一个op）
编写plugin，需要继承TRT的base class，不同的base class特性如下：
上表的三个base class中，IPluginV2Ext是为了兼容5.1,不推介使用了。推挤使用后两个，如果不需要支持dynamic shape，用IPluginV2Ext。需要支持dynamic shape则使用IPluginV2dynamicExt。
-
看sampleUffPluginV2Ext的例子，输入长度固定。
两个构造函数， -
总结各个函数的执行顺序
-
分享比较好的资料：实现TensorRT自定义插件(plugin)自由！
3.3.2 如何打造自己的plugin库
3.3.3 dynamic shape plugin库以及讲解bert的代码