【tensorrt】——插件写法及python plugin大体流程

tensorrt

1. python plugin 大体流程

这是参考torch2trt写的一个python插件的大体流程,因为tensorrt是没有开源的,所以具有不确定性。
【tensorrt】——插件写法及python plugin大体流程_第1张图片

2. code

项目,是做tensorrt测试的,包括c++/python api。因为tensorrt模型的构建不是api就是转换模型之后直接推理。如果想单独测试某个layer就需要这样的小项目。

tensorrt.test

reference

  1. torch2trt
  2. tensorrt.test

你可能感兴趣的:(嵌入式AI,tensorrt,pytorch)