YOLOv8 Ultralytics：使用Ultralytics框架进行MobileSAM图像分割

前言

• 由于本人水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
• 基于DETR的人脸伪装检测
• YOLOv7训练自己的数据集（口罩检测）
• YOLOv8训练自己的数据集（足球检测）
• YOLOv5：TensorRT加速YOLOv5模型推理
• YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
• 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
• YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
• YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
• Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
• YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
• 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

相关介绍

• YOLOv8是YOLO系列实时目标检测器的最新版本，在准确性和速度方面提供了尖端的性能。基于以前的YOLO版本的进步，YOLOv8引入了新的功能和优化，使其成为各种应用中各种目标检测任务的理想选择。
• YOLOv8官方文档：https://docs.ultralytics.com/
• Segment Anything Model（SAM）是一种尖端的图像分割模型，可以进行快速分割，为图像分析任务提供无与伦比的多功能性。SAM 构成了 Segment Anything 计划的核心，这是一个开创性的项目，引入了用于图像分割的新颖模型、任务和数据集。
• SAM 的先进设计使其能够在无需先验知识的情况下适应新的图像分布和任务，这一功能称为零样本传输。SAM 在庞大的SA-1B 数据集上进行训练，该数据集包含超过 10 亿个掩模，分布在 1100 万张精心策划的图像中，SAM 表现出了令人印象深刻的零样本性能，在许多情况下超越了之前完全监督的结果。
• Segment Anything Model (SAM) 的主要特征
  • 即时分割任务： SAM 在设计时考虑了即时分割任务，允许它根据任何给定的提示生成有效的分割掩码，例如识别对象的空间或文本线索。
  • 高级架构： Segment Anything Model 采用强大的图像编码器、提示编码器和轻量级掩模解码器。这种独特的架构可以在分割任务中实现灵活的提示、实时掩模计算和歧义感知。
  • SA-1B 数据集： SA-1B 数据集由 Segment Anything 项目引入，在 1100 万张图像上包含超过 10 亿个掩模。作为迄今为止最大的分割数据集，它为 SAM 提供了多样化、大规模的训练数据源。
  • 零样本性能： SAM 在各种分段任务中显示出出色的零样本性能，使其成为适用于各种应用的即用型工具，并且对快速工程的需求极小。
• 要深入了解 Segment Anything 模型和 SA-1B 数据集，请访问Segment Anything 网站并查看研究论文Segment Anything。
• MobileSAM 论文现已在arXiv上发布。
• 可以通过此演示链接访问在 CPU 上运行的 MobileSAM 演示。Mac i5 CPU 上的性能大约需要 3 秒。在 Hugging Face 演示中，接口和性能较低的 CPU 导致响应速度较慢，但​​它仍然可以有效运行。
• MobileSAM 在各种项目中实施，包括Grounding-SAM、AnyLabeling和Segment Anything in 3D。
• MobileSAM 在不到一天的时间内在单个 GPU 上使用 100k 数据集（原始图像的 1%）进行训练。

前提条件

• 熟悉Python

实验环境

matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.6.0
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.64.0
tensorboard>=2.4.1
pandas>=1.1.4
seaborn>=0.11.0

安装环境

pip install ultralytics
# 或者
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple # 国内清华源，下载速度更快

项目地址

• 官方YOLOv8源代码地址：https://github.com/ultralytics/ultralytics.git

Linux

git clone https://github.com/ultralytics/ultralytics.git

Cloning into 'ultralytics'...
remote: Enumerating objects: 4583, done.
remote: Counting objects: 100% (4583/4583), done.
remote: Compressing objects: 100% (1270/1270), done.
remote: Total 4583 (delta 2981), reused 4576 (delta 2979), pack-reused 0
Receiving objects: 100% (4583/4583), 23.95 MiB | 1.55 MiB/s, done.
Resolving deltas: 100% (2981/2981), done.

Windows

请到https://github.com/ultralytics/ultralytics.git网站下载源代码zip压缩包。

使用Ultralytics框架进行MobileSAM图像分割

yolo predict model=mobile_sam.pt source=images/bird.jpeg

参考文献

[1] YOLOv8 源代码地址：https://github.com/ultralytics/ultralytics.git.
[2] YOLOv8 Docs：https://docs.ultralytics.com/
[3] https://docs.ultralytics.com/models/mobile-sam/
[4] https://github.com/ChaoningZhang/MobileSAM
[5] https://arxiv.org/abs/2306.14289
[6] Chaoning Zhang, Dongshen Han, Yu Qiao, Jung Uk Kim, Sung-Ho Bae, Seungkyu Lee, Choong Seon Hong. Faster Segment Anything: Towards Lightweight SAM for Mobile Applications. 2023

• 由于本人水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
• 基于DETR的人脸伪装检测
• YOLOv7训练自己的数据集（口罩检测）
• YOLOv8训练自己的数据集（足球检测）
• YOLOv5：TensorRT加速YOLOv5模型推理
• YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
• 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
• YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
• YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
• Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
• YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
• 使用Kaggle GPU资源免费体验Stable Diffusion开源项目