YOLOv8初体验:检测、跟踪、模型部署

YOLOv8初体验:检测、跟踪、模型部署_第1张图片

安装

YOLOv8有两种安装方式,一种是直接用pip命令安装:

pip install ultralytics

另外一种是通过源码安装:

git clone https://github.com/ultralytics/ultralytics
cd ultralytics
pip install -e '.[dev]'

安装完成后就可以通过yolo命令在命令行进行使用了。

目标检测

使用YOLOv8进行目标检测,可以使用下面的命令:

yolo task=detect mode=predict model=yolov8n.pt source=ultralytics/assets/bus.jpg imgsz=640 show=True save=True

如果模型权重不存在,程序会自动从GitHub中下载。如果对命令行的参数不了解,可以参考官方文档的说明,也可以直接看ultralytics代码仓库中的ultralytics/yolo/cfg/default.yaml文件,里面有所有参数的说明和默认值。

上面的命令运行成功后,带检测结果的图片被保存到runs/detect/predict目录下,如下图所示:

YOLOv8初体验:检测、跟踪、模型部署_第2张图片

跑视频的效果可以看下面这个视频:

用TensorRT部署的YOLOv8模型,来看看效果怎么样

目标跟踪

YOLOv8目前支持BoT-SORTByteTrack两种多目标跟踪算法,默认的目标跟踪算法为BoT-SORT,使用方式如下:

yolo track model=yolov8n.pt source=test.avi show=True save=True

如果要使用ByteTrack跟踪算法,可以添加命令行参数tracker=bytetrack.yaml

下面的视频是使用BoT-SORT算法的跟踪效果,效果还是不错的。

YOLOv8+BoT-SORT目标检测与跟踪

模型部署

如果要用TensorRT部署YOLOv8,需要先使用下面的命令将模型导出为onnx格式:

yolo export model=yolov8n.pt format=onnx opset=12 

YOLOv83个检测头一共有80x80+40x40+20x20=8400个输出单元格,每个单元格包含x,y,w,h4项再加80个类别的置信度总共84项内容,所以通过上面命令导出的onnx模型的输出维度为1x84x8400

YOLOv8初体验:检测、跟踪、模型部署_第3张图片

这样的通道排列顺序有个问题,那就是后处理的时候会造成内存访问不连续。为了解决这个问题,我们可以修改一下代码,具体做法是把ultralytics/nn/modules.py文件中的421行做如下修改,交换一下张量y的通道顺序:

修改代码后需要执行前面的安装命令pip install -e '.[dev]'使代码生效。这样修改后再执行上面的模型导出命令,模型的输出维度变为1x8400x84

YOLOv8初体验:检测、跟踪、模型部署_第4张图片

导出onnx模型后,就可以用TensorRT进行部署了。如何使用TensorRTC++接口部署ONNX模型可以参考我之前给【自动驾驶之心】公众号写的这篇文章:手把手教学!TensorRT部署实战:YOLOv5的ONNX模型部署。

YOLOv5相比,部署YOLOv8的不同之处就是做后处理解析模型输出结果的时候不需要去解析objectness这项内容了,其他都类似。

使用TensorRT框架在我的GeForce GTX 1650 Ti显卡上部署YOLOv8的结果如下:

模型 输入尺寸 模型精度 耗时(ms)
yolov8n.onnx 640x640 FP32 7
yolov8s.onnx 640x640 FP32 12
yolov8m.onnx 640x640 FP32 29
yolov8l.onnx 640x640 FP32 52
yolov8x.onnx 640x640 FP32 83
yolov8n.onnx 640x640 FP16 4
yolov8s.onnx 640x640 FP16 7
yolov8m.onnx 640x640 FP16 14
yolov8l.onnx 640x640 FP16 25
yolov8x.onnx 640x640 FP16 40

YOLOv5测试结果:

模型 输入尺寸 模型精度 耗时(ms)
yolov5n.onnx 640x640 FP32 7
yolov5s.onnx 640x640 FP32 10
yolov5m.onnx 640x640 FP32 21
yolov5l.onnx 640x640 FP32 41
yolov5x.onnx 640x640 FP32 76
yolov5n.onnx 640x640 FP16 5
yolov5s.onnx 640x640 FP16 6
yolov5m.onnx 640x640 FP16 11
yolov5l.onnx 640x640 FP16 21
yolov5x.onnx 640x640 FP16 38

从上面的测试结果来看,YOLOv8YOLOv5稍微慢一点点。

你可能感兴趣的:(自动驾驶与深度学习,深度学习,目标检测,计算机视觉,自动驾驶,YOLO)