Tensorrt使用时遇到的一些坑

数据传输

tensorrt并不能消除gpu到cpu的数据传输问题,所以数据拷贝依然比较慢。
所以要对传出的数据进行压缩才可以节省时间

数据类型

pycuda 给的例子支持np.float32比较好,传到kernel以后直接使用float *input即可对内存进行操作。
而int 则需要将变量转换为np.int32才能正确的读到

onnx2trt

使用该命令进行转换时,记得添加-b参数,将batch size设置为1

你可能感兴趣的:(deep,Learning)