YOLOV5部署性能比较 opencvDNN /ONNX onnxruntime/ Openvion 2022.1

测试场景：

在WIN10的平台，测试了几种部署工具的性能比较，非官方数据，只是记录了测试的时间

1.硬件平台

CPU Intel Core I7 9850-H @2.6GHz
内存 32G
核显 UHD620
NVDIA Quadro P620 4G显存

2.软件平台

vc++ 2019
win10
ONNX onnxruntime1.10
ONNX onnxruntime1.6 GPU
Opencv 4.5.5
OpenVINO 2022.1

3.YOLO模型

1.官网下载：yolov5s.onnx
2.Openvion 优化模型：yolov5s.xml
模型输入大小为640*640

测试效果图：

---

性能比较：

框架	硬件	模型	结果
opencv DNN	CPU	yolov5s.onnx	207ms
ONNX onnxruntime	CPU	yolov5s.onnx	104ms
ONNX onnxruntime	GPU	yolov5s.onnx	52ms
openvino	CPU	yolov5s.onnx	127ms
openvino	GPU-UHD620	yolov5s.onnx	72ms
openvino	CPU	yolov5s.xml	99ms
openvino	GPU-UHD620	yolov5s.xml	66ms

结果说明：

1.Opencv DNN采用的图像预处理方式是和其他的图像预处理方式不一样
2.后处理的统一才用Opencv的NMS来处理
3.ONNX的GPU硬件为NVDIA Quadro P620 4G显存