【YOLO】目标检测第三步——用Pascal voc 2012 数据集训练YOLO网络
目录
- 0. 引言
- 1. 认识Pascal voc 2012 数据集
-
- 1.1. 数据集内容分析
- 2. 数据集标签格式的转换与创建
-
- 2.1. 标签格式的转换
- 2.2. 数据集的创建
- 3. YOLO程序配置
-
- 3.1. 两个*.yaml文件配置
- 3.2. train.py文件修改
- 3.3 开始训练
- 4. 时间计算
- 5. 训练过程遇到的问题
- 参考链接
0. 引言
一般博主都会说对YOLO网络训练都是通过自制的训练集，这是能一次性完成YOLO网络的参数设置，但对于之前根本没有接触过这类知识的小白，我决定慢慢来，用其他数据集尝试训练网络。
此步骤的目的在于：
- 认识Pascal voc 2012 数据集；
- 了解数据集的标签格式以及数据集的格式；
- 认识YOLO文件内容与train.py训练参数的配置；
- 计算训练一次的大致时间。
训练的环境：CPU为Intel® Core™ i7-6700HQ CPU，GPU0为Inte® HD Graphics 530，GPU1为NVIDIA Geforce GTX 960M，内存为 8G；操作系统为 Windows10；使用Pytorch 框架，安装 CUDA10.2和8.3.0版本Cudnn，开发语言为 Python。
1. 认识Pascal voc 2012 数据集
Pascal VOC的三个主要物体识别竞赛是：分类，检测和分割（classification, detection, and segmentation）。
主要应用于分类、检测和分割。
官网：http://host.robots.ox.ac.uk/pascal/VOC/
数据集下载：
有1.9G，不过下载起来感觉挺快的。
数据集解压：
数据集参考：Pascal voc 2012 数据集简介
1.1. 数据集内容分析
Annotations与JPEGImages
“Annotations”里的文件名与“JPEGImages”相互对应，只是后缀名不一样。“Annotations”存放的是xml格式的标签文件，以“2007_000027”为例。
JPEGImages：
Annotations：
<annotation>
<folder>VOC2012folder>
<filename>2007_000027.jpgfilename>
<source>
<database>The VOC2007 Databasedatabase>
<annotation>PASCAL VOC2007annotation>
<image>flickrimage>
source>
<size>
<width>486width>
<height>500height>
<depth>3depth>
size>
<segmented>0segmented>
<object>
<name>personname>
<pose>Unspecifiedpose>
<truncated>0truncated>
<difficult>0difficult>
<bndbox>
<xmin>174xmin>
<ymin>101ymin>
<xmax>349xmax>
<ymax>351ymax>
bndbox>
<part>
<name>headname>
<bndbox>
<xmin>169xmin>
<ymin>104ymin>
<xmax>209xmax>
<ymax>146ymax>
bndbox>
part>
<part>
<name>handname>
<bndbox>
<xmin>278xmin>
<ymin>210ymin>
<xmax>297xmax>
<ymax>233ymax>
bndbox>
part>
<part>
<name>footname>
<bndbox>
<xmin>273xmin>
<ymin>333ymin>
<xmax>297xmax>
<ymax>354ymax>
bndbox>
part>
<part>
<name>footname>
<bndbox>
<xmin>319xmin>
<ymin>307ymin>
<xmax>340xmax>
<ymax>326ymax>
bndbox>
part>
object>
annotation>
ImageSets
？
SegmentationClass
应用于分割。保存了分割后的标签图（2913张png图片），标注出了每一个像素属于哪一个类别。
SegmentationObject
应用于分割。保存了分割后的标签图（2913张png图片），标注出了每一个像素属于哪一个具体的物体。
2. 数据集标签格式的转换与创建
2.1. 标签格式的转换
下表为不同标签格式所存储的文件类型，不同数据集之间的标签是不通用的。
| 标签格式 | 存储文件 | 备注 |
|---|---|---|
| VOC | xml | |
| yolo | txt | |
| createML | json | 从官网上下载的COCO数据集就是该格式，以后打算写一篇博客详细记录各个标签的内容 |
VOC数据集所用的是xml文件，而yolo的标签格式为txt文件，其表示方式也不一样，以下是yolo标签的一种表现形式：
两行表示图中有两个类别，“0”表示标签类别，“0.5575 0.12 0.845 0.21”表示边界框在图像中的位置，是归一化后的结果。
炮哥带你学博主推荐大家在自己创建数据集的时候，将标签格式设置为xml，具有标注清晰的优点，同时也存在脚本文件将xml格式转换为txt格式，脚本文件见下方实现步骤2。
将VOC数据集的xml格式转为txt格式具体实现步骤为：
-
创建如下格式的文件目录，如果修改文件名，则在程序中也要相应修改。
Xml2txt |----- main.py |------ VOCdevkit（文件名可修改） |----VOC2012（文件名可修改） |-----Annotations |-----JPEGImages -
将以下代码复制到main.py下
import xml.etree.ElementTree as ET import pickle import os from os import listdir, getcwd from os.path import join import random from shutil import copyfile classes = ['aeroplane', 'bicycle', 'bird', 'boat', 'bottle', 'bus', 'car', 'cat', 'chair', 'cow', 'diningtable', 'dog', 'horse', 'motorbike', 'person', 'pottedplant', 'sheep', 'sofa', 'train', 'tvmonitor'] # 划分的类别，依实际情况而定 # classes=["ball"] TRAIN_RATIO = 80 # 训练集与数据集划分的比例 def clear_hidden_files(path): dir_list = os.listdir(path) for i in dir_list: abspath = os.path.join(os.path.abspath(path), i) if os.path.isfile(abspath): if i.startswith("._"): os.remove(abspath) else: clear_hidden_files(abspath) def convert(size, box): # 边界框的转换 dw = 1. / size[0] dh = 1. / size[1] x = (box[0] + box[1]) / 2.0 y = (box[2] + box[3]) / 2.0 w = box[1] - box[0] h = box[3] - box[2] x = x * dw w = w * dw y = y * dh h = h * dh return (x, y, w, h) def convert_annotation(image_id): in_file = open('VOCdevkit/VOC2012/Annotations/%s.xml' % image_id) # xml路径 out_file = open('VOCdevkit/VOC2012/YOLOLabels/%s.txt' % image_id, 'w') tree = ET.parse(in_file) root = tree.getroot() size = root.find('size') w = int(size.find('width').text) h = int(size.find('height').text) for obj in root.iter('object'): difficult = obj.find('difficult').text cls = obj.find('name').text if cls not in classes or int(difficult) == 1: continue cls_id = classes.index(cls) xmlbox = obj.find('bndbox') b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text)) bb = convert((w, h), b) out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n') in_file.close() out_file.close() wd = os.getcwd() wd = os.getcwd() data_base_dir = os.path.join(wd, "VOCdevkit/") if not os.path.isdir(data_base_dir): os.mkdir(data_base_dir) work_sapce_dir = os.path.join(data_base_dir, "VOC2012/") if not os.path.isdir(work_sapce_dir): os.mkdir(work_sapce_dir) annotation_dir = os.path.join(work_sapce_dir, "Annotations/") if not os.path.isdir(annotation_dir): os.mkdir(annotation_dir) clear_hidden_files(annotation_dir) image_dir = os.path.join(work_sapce_dir, "JPEGImages/") if not os.path.isdir(image_dir): os.mkdir(image_dir) clear_hidden_files(image_dir) yolo_labels_dir = os.path.join(work_sapce_dir, "YOLOLabels/") if not os.path.isdir(yolo_labels_dir): os.mkdir(yolo_labels_dir) clear_hidden_files(yolo_labels_dir) yolov5_images_dir = os.path.join(data_base_dir, "images/") if not os.path.isdir(yolov5_images_dir): os.mkdir(yolov5_images_dir) clear_hidden_files(yolov5_images_dir) yolov5_labels_dir = os.path.join(data_base_dir, "labels/") if not os.path.isdir(yolov5_labels_dir): os.mkdir(yolov5_labels_dir) clear_hidden_files(yolov5_labels_dir) yolov5_images_train_dir = os.path.join(yolov5_images_dir, "train/") if not os.path.isdir(yolov5_images_train_dir): os.mkdir(yolov5_images_train_dir) clear_hidden_files(yolov5_images_train_dir) yolov5_images_test_dir = os.path.join(yolov5_images_dir, "val/") if not os.path.isdir(yolov5_images_test_dir): os.mkdir(yolov5_images_test_dir) clear_hidden_files(yolov5_images_test_dir) yolov5_labels_train_dir = os.path.join(yolov5_labels_dir, "train/") if not os.path.isdir(yolov5_labels_train_dir): os.mkdir(yolov5_labels_train_dir) clear_hidden_files(yolov5_labels_train_dir) yolov5_labels_test_dir = os.path.join(yolov5_labels_dir, "val/") if not os.path.isdir(yolov5_labels_test_dir): os.mkdir(yolov5_labels_test_dir) clear_hidden_files(yolov5_labels_test_dir) train_file = open(os.path.join(wd, "yolov5_train.txt"), 'w') test_file = open(os.path.join(wd, "yolov5_val.txt"), 'w') train_file.close() test_file.close() train_file = open(os.path.join(wd, "yolov5_train.txt"), 'a') test_file = open(os.path.join(wd, "yolov5_val.txt"), 'a') list_imgs = os.listdir(image_dir) # list image files prob = random.randint(1, 100) print("Probability: %d" % prob) for i in range(0, len(list_imgs)): path = os.path.join(image_dir, list_imgs[i]) if os.path.isfile(path): image_path = image_dir + list_imgs[i] voc_path = list_imgs[i] (nameWithoutExtention, extention) = os.path.splitext(os.path.basename(image_path)) (voc_nameWithoutExtention, voc_extention) = os.path.splitext(os.path.basename(voc_path)) annotation_name = nameWithoutExtention + '.xml' annotation_path = os.path.join(annotation_dir, annotation_name) label_name = nameWithoutExtention + '.txt' label_path = os.path.join(yolo_labels_dir, label_name) prob = random.randint(1, 100) print("Probability: %d" % prob) if (prob < TRAIN_RATIO): # train dataset if os.path.exists(annotation_path): train_file.write(image_path + '\n') convert_annotation(nameWithoutExtention) # convert label copyfile(image_path, yolov5_images_train_dir + voc_path) copyfile(label_path, yolov5_labels_train_dir + label_name) else: # test dataset if os.path.exists(annotation_path): test_file.write(image_path + '\n') convert_annotation(nameWithoutExtention) # convert label copyfile(image_path, yolov5_images_test_dir + voc_path) copyfile(label_path, yolov5_labels_test_dir + label_name) train_file.close() test_file.close()需修改的地方：
第9行：根据自己数据集的标签内容而定。
第42和43行：xml文件的路径以及txt文件的存储路径。
第67行到77行：此部分应该为将数据集拆分为测试集和验证集的源文件，需要与42到43行的文件名对应。
文件配置过程主要分为这几个步骤：1.标签格式的转换：xml->txt；2.将数据划分为训练集和验证集。文件准备完成后，应包含图像数据和txt的标签数据，同时还划分成了训练集和验证集。 -
运行后结果
xml格式也转成了yolo的txt格式。
备注：若没有下载yolov5s的权重则需要官网下载。但本文默认已经下载完成，因为yolo在目标检测第二步中已经跑通过。
2.2. 数据集的创建
YOLO训练所需的数据集训练格式如下所示。这里特别说明是因为有一次训练过程中，我把’images’写成了’image’，造成了训练失败；其二原因是在下一节配置过程中，路径只配置了图片的路径，却能够找到标签的路径，所以我认为YOLO训练所需数据集的格式是固定的。
VOCdevkit（file name可修改）
|---------images
|-------train
|-------val
|-------test（可以没有）
|---------labels
|-------train
|-------val
|-------test（可以没有）
其中“images"和"labels"文件的名字要相互对应，labels的格式为”txt"。
3. YOLO程序配置
该部分的配置包括data文件夹（数据集配置文件夹），model文件夹（权重配置文件夹），train.py文件夹。
3.1. 两个*.yaml文件配置
第一步
打开"yolo5-master"，对data文件下的“VOC.yaml"进行复制，重命名为”VOC_test"进行粘贴。
第二步
复制创建数据集的路径
第三步
将路径如下粘贴，并根据数据集的类别和名称修改’nc’和’names’
train: E:\Yolo_related_code\Xml2txt\VOCdevkit\images\train # 复制过来的名字再进行检查调整
val: E:\Yolo_related_code\Xml2txt\VOCdevkit\images\val
# Classes
nc: 20 # number of classes
names: ['aeroplane', 'bicycle', 'bird', 'boat', 'bottle', 'bus', 'car', 'cat', 'chair', 'cow', 'diningtable', 'dog',
'horse', 'motorbike', 'person', 'pottedplant', 'sheep', 'sofa', 'train', 'tvmonitor'] # class names
第四步：修改yolov5s_test.yaml文件
对model文件下的“yolov5s.yaml"进行复制，重命名为"yolov5s_test.yaml"进行粘贴。
打开“yolov5s_test.yaml”将第4行’nc’改为训练的类别个数。
3.2. train.py文件修改
打开"train.py"，找到函数def parse_opt(known=False)。
主要修改以下三个参数：
parser.add_argument('--weights', type=str, default=ROOT / 'yolov5s.pt', help='initial weights path')
parser.add_argument('--cfg', type=str, default=r'models/yolov5s_test.yaml', help='model.yaml path') # 修改路径
parser.add_argument('--data', type=str, default=r'data/VOC_test.yaml', help='dataset.yaml path') # 修改路径
--weights:预训练的权重，毕竟这玩意有点玄学，选取已经训练好的参数帮助尽量达到全局最优。
--cfg:模型配置文件路径
--weights:数据集配置文件路径
3.3 开始训练
在pycharm下运行，直接运行train.py文件即可。
在命令行下，输入python train.py。
此时你不要觉得万事大吉了，也要看窗口的提示信息。
1.检查配置
2. 检查路径
3. 确认训练
4. 时间计算
这是为一个epochs。开始时间：13：50，结束时间14：50。
5. 训练过程遇到的问题
- ‘User provided device_type of ‘cuda’, but CUDA is not available. Disabling’
修改为之前“目标检测第一步”设置的解释器就可以了。 - OS Error：【 WinError:1455】页面文件太小，无法完成操作。
在utils路径下找到datasets.py这个文件，将里面的第81行里面的参数nw改完0就可以了
参考链接
Pascal voc 2012 数据集简介
快速入门YOLOV5目标检测！唐宇迪：YOLOV5目标物体检测实战教程…
手把手教你搭建自己的yolov5目标检测平台