yolov5数据集_如何使用Yolov5创建端到端对象检测器？
作者 | Rahul Agarwal
来源 | Medium
编辑 | 代码医生团队
Ultralytics最近在围绕其名称的争议中推出了YOLOv5。就上下文而言，约瑟夫·雷德蒙(Joseph Redmon)创建了YOLO(您只看一次)的前三个版本。此后，Alexey Bochkovskiy在Darknet上创建了YOLOv4，与以前的迭代相比，它拥有更高的平均精度(AP)和更快的结果。
现在，Ultralytics已发布YOLOv5，具有可比的AP和比YOLOv4更快的推理时间。这引起了很多人的疑问：是否应授予与YOLOv4相似的准确性的新版本？无论答案是什么，这绝对是检测社区发展速度的标志。
资料来源：Ultralytics Yolov5
自从首次移植YOLOv3以来，Ultralytics就使使用Pytorch创建和部署模型非常简单，所以很想尝试YOLOv5。事实证明，Ultralytics进一步简化了流程，其结果不言而喻。
在本文中，将使用YOLOv5创建检测模型，从创建数据集并对其进行注释到使用其卓越的库进行训练和推理。这篇文章重点介绍YOLOv5的实现，包括：
创建玩具数据集
注释图像数据
创建项目结构
训练YOLOv5
创建自定义数据集
如果有图像数据集，则可以放弃第一步。由于没有图像，因此正在从开放图像数据集(OID)下载数据，这是获取可用于分类和检测的带注释图像数据的绝佳资源。注意，不会使用OID提供的注释，而是为了学习而创建自己的注释。
1. OIDv4下载图片：
要从Open Image数据集下载图像，首先克隆OIDv4_ToolKit并安装所有要求。
git clone https://github.com/EscVM/OIDv4_ToolKit
cd OIDv4_ToolKit
pip install -r requirements.txt
现在可以使用main.py此文件夹中的脚本来下载图像以及多个类的标签。
下面正在下载棒球和足球的数据以创建自定义数据集。也就是说将创建一个包含足球和棒球的数据集，学习任务是检测这些球。
python3 main.py downloader --classes Cricket_ball Football --type_csv all -y --limit 500
以下命令使用以下结构创建一个名为“ OID”的目录：
OID目录结构。将仅从此处获取图像文件(.jpgs)，而不从标签中获取标签，因为将手动添加注释以创建“自定义数据集”，尽管如果不同项目需要，也可以使用它们。
在继续之前，需要复制同一文件夹中的所有图像以从头开始标签练习。可以选择手动执行此操作，但是也可以使用递归glob函数以编程方式快速完成此操作：
import os
from glob import glob
os.system("mkdir Images")
images = glob(r'OID/**/*.jpg', recursive=True)
for img in images:
os.system(f"cp {img} Images/")
2.使用HyperLabel标记图像
将使用称为Hyperlabel的工具来标记图像。过去曾使用过许多工具来创建诸如labelimg，labelbox等的批注，但从未遇到过如此简单易用且过于开源的工具。唯一的缺点是无法在Linux，Mac和Windows上使用此工具，但是想这对大多数人都很好。
1.创建项目，2，设置标签，3.添加本地图像数据源，4.注释
该工具最好的部分是它提供的各种输出格式。由于要获取Yolo的数据，因此将关闭Yolo格式并在完成注释后将其导出。但是如果也想以JSON格式(COCO)或XML格式(Pascal VOC)获得注释，则可以选择使用此工具。
以Yolo格式导出实际上会为每个图像创建一个.txt文件，其中包含class_id，x_center，y_center，图像的宽度和高度。它还创建一个名为的文件obj.names，该文件有助于将class_id映射到该类名。例如：
图像，其注释和obj.names文件
请注意，注释文件中的坐标从0缩放到1。另外请注意，对于每个obj.names 文件，棒球的class_id为0，橄榄球为1，从0开始。使用此文件创建了一些其他文件，但在本示例中将不再使用它们。
完成此操作后，大多数情况下都将使用自定义数据集进行设置，并且在训练模型时，只需要重新排列其中一些文件即可进行后续的训练和验证拆分。当前的数据集将是一个单独的文件夹，如下所示，其中既包含图像又包含注释：
dataset
- 0027773a6d54b960.jpg
- 0027773a6d54b960.txt
- 2bded1f9cb587843.jpg
- 2bded1f9cb587843.txt
--
--
设置项目
为了训练自定义对象检测器，将使用Ultralytics的Yolov5。首先克隆存储库并安装依赖项：
git clone https://github.com/ultralytics/yolov5 # clone repo
cd yolov5
pip install -U -r requirements.txt
然后从创建自己的名为training的文件夹开始，在其中保留自定义数据集。
!mkdir training
首先将自定义数据集文件夹复制到该文件夹中，然后使用简单的train_val_folder_split.ipynb笔记本创建训练验证文件夹。下面的代码仅创建了一些train和validation文件夹，并在其中填充了图像。
import glob, os
import random
# put your own path here
dataset_path = 'dataset'
# Percentage of images to be used for the validation set
percentage_test = 20
!mkdir data
!mkdir data/images
!mkdir data/labels
!mkdir data/images/train
!mkdir data/images/valid
!mkdir data/labels/train
!mkdir data/labels/valid
# Populate the folders
p = percentage_test/100
for pathAndFilename in glob.iglob(os.path.join(dataset_path, "*.jpg")):
title, ext = os.path.splitext(os.path.basename(pathAndFilename))
if random.random() <=p :
os.system(f"cp {dataset_path}/{title}.jpg data/images/valid")
os.system(f"cp {dataset_path}/{title}.txt data/labels/valid")
else:
os.system(f"cp {dataset_path}/{title}.jpg data/images/train")
os.system(f"cp {dataset_path}/{title}.txt data/labels/train")
运行此命令后，data文件夹结构应如下所示。它应该有两个目录images和labels。
现在，必须向文件training夹添加两个配置文件：
1. Dataset.yaml：创建一个文件“ dataset.yaml”，其中包含训练和验证图像的路径以及类。
# train and val datasets (image directory or *.txt file with image paths)
train: training/data/images/train/
val: training/data/images/valid/
# number of classes
nc: 2
# class names
names: ['Cricketball', 'Football']
2. Model.yaml：创建网络时，可以使用从小到大的多种模型。例如，yolov5s.yaml目录中的yolov5/models 文件是具有7M参数的小型Yolo模型，而yolov5x.yaml具有96M Params的最大Yolo模型。对于此项目，将使用yolov5l.yaml具有50M参数的。首先将文件从复制yolov5/models/yolov5l.yaml到training文件夹，然后将更改nc，这是根据项目要求将类数更改为2的方法。
# parameters
nc: 2 # change number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
训练
此时训练文件夹如下所示：
完成上述步骤后，就可以开始训练模型了。这就像运行以下命令一样简单，在其中提供配置文件和各种其他参数的位置。可以检查train.py文件中的其他不同选项，但是这些是发现值得注意的选项。
# Train yolov5l on custom dataset for 300 epochs
$ python train.py --img 640 --batch 16 --epochs 300--data training/dataset.yaml --cfg training/yolov5l.yaml --weights ''
在那种情况下，使用以下命令在单个GPU上运行的PyTorch 1.5版可能会出错：
# Train yolov5l on custom dataset for 300 epochs
$ python train.py --img 640 --batch 16 --epochs 300--data training/dataset.yaml --cfg training/yolov5l.yaml --weights '' --device 0
开始训练后，可以通过检查自动创建的文件来检查训练是否已设置train_batch0.jpg，该文件包含第一批的训练标签，并且test_batch0_gt.jpg包括测试图像的基本情况。
左：train_batch0.jpg，右：test_batch0_gt.jpg
结果
要localhost:6006使用tensorboard在浏览器中查看训练的结果，请在另一个终端选项卡中运行此命令
tensorboard --logdir=runs
以下是各种验证指标。results.png在训练运行结束时，这些指标也会保存在文件中。
预测
Ultralytics Yolov5提供了许多不同的方法来检查新数据的结果。
要检测一些图像，可以将它们简单地放在名为文件夹中，inference/images并根据验证AP使用最佳权重来运行推理：
python detect.py --weights weights/best.pt
结果
还可以使用detect.py文件在视频中进行检测：
python detect.py --weights weights/best.pt --source inference/videos/messi.mp4 --view-img --output inference/output
在这里，指定使用— view-img标志查看输出，并将输出存储在位置推断/输出中。这将.mp4在此位置创建一个文件。令人印象深刻的是，网络可以看到球，在这里进行推理的速度以及从未观察到的数据的惊人准确性。
这是梅西
也可以通过将其指定--source为0，将网络摄像头用作来源。可以在detect.py文件中签出其他各种选项。
结论
在本文中，讨论了如何使用“自定义数据集”创建Yolov5对象检测模型。喜欢Ultralytics轻松创建对象检测模型的方式。
如果想自己尝试使用自定义数据集，则可以在Kaggle上下载带注释的数据，并在Github上下载代码。
https://www.kaggle.com/mlwhiz/detection-footballvscricketball
https://github.com/MLWhiz/data_science_blogs/tree/master/yolov5CustomData
推荐阅读
YOLOv5来了！基于PyTorch，体积比YOLOv4小巧90%，速度却超2倍
