OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测

1. 前言

之前把ORT的一套推理环境框架搭好了,在项目中也运行得非常愉快,实现了cpu/gpu,fp32/fp16的推理运算,同onnx通用模型在不同推理框架下的性能差异对比贴一下,记录一下自己对各种推理框架的学习状况

YoloV8模型大小
模型名称 参数量
NANO 3.2M
... ...

2. CPU篇

CPU推理框架性能比较
框架 推理耗时([email protected])/ms
OnnxRuntime 95
DNN 80

OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测_第1张图片

 OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测_第2张图片

3. GPU篇

OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测_第3张图片

 OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测_第4张图片

4. 总结

cpu选择onnxruntime或者dnn都可以,建议选择ort.gpu选择tensorrt,如果有兼容需求就只能选择onnxruntime了.

不得不说,gpu推理上TRT把ORT薄纱了,不需要warm-up,对工业生产环境非常友好,因为在实际生产环境中,都不是实时推理,而是有间隔的推理,ORT在一段间隔时间后cuda性能会有所衰减,当然也可能是我还没摸透ort这个框架,欢迎大佬指正.

你可能感兴趣的:(人工智能,c++,python,深度学习)