pytorch模型(.pth)转tensorrt模型(.engine)的几种方式

深度学习系列文章

---

---

前言

这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下：

1. 导出网络定义以及相关权重；
2. 解析网络定义以及相关权重；
3. 根据显卡算子构造出最优执行计划；
4. 将执行计划序列化存储；
5. 反序列化执行计划；
6. 进行推理

值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。

---

一、trtexec

二、torch2trt

三、torch2trt dynamic

四、parser解析onnx模型

五、tensorrtx

六、onnx-tensorrt

七、Torch-TensorRT

八、手动解析ONNX（C++版）

---

参考链接