tensorrt学习

一、tensorrt安装

1. 下载
   安装包下载：https://developer.nvidia.com/zh-cn/tensorrt
   下载对应tar包并解压即可 tar -zxvf

2. 环境变量配置

vim ~/.bashrc
# 添加以下内容
export LD_LIBRARY_PATH=/path/to/TensorRT-7.2.3.4/lib:$LD_LIBRARY_PATH
export LIBRARY_PATH=/path/to/TensorRT-7.2.3.4/lib::$LIBRARY_PATH

3. 版本相关
   和cuda的版本相关

二、模型转换

• 使用TF-TRT，将TensorRT集成在TensorFlow中
• 使用ONNX2TensorRT，即ONNX转换trt的工具
• 手动构造模型结构，然后手动将权重信息挪过去，非常灵活但是时间成本略高，有大佬已经尝试过了：tensorrtx

三、部署相关
部署TensorRT的方式，官方提供了三种：

1. 集成在Tensorflow中使用，比例TF-TRT，这种操作起来比较便捷，但是加速效果并不是很好；
2. 在TensorRT Runtime环境中运行模型，就是直接使用TensorRT；
3. 搭配服务框架使用，最配的就是官方的triton-server，完美支持TensorRT

四、pytorch模型转换
思路：pth模型=>onnx=>tensorRT
4.1 pytorch模型转trt

4.2 trt部署

五、tensorflow模型转换
TODO

六、caffe模型转化
对于caffe模型，则不需要转化，因为tensorRT是可以直接读取caffe模型的。