Darknet yolov4, Pytorch yolov5训练自己的数据集

一、准备项目代码

https://github.com/AlexeyAB/darknet

---

二、创建标注文件

可以使用LabelImg,Labme,Labelbox, CVAT来标注数据，对于目标检测而言需要标注bounding box即可。然后需要将标注转换为和darknet format相同的标注形式，每一个图像生成一个*.txt的标注文件（如果该图像没有标注目标则不用创建*.txt文件）。创建的*.txt文件遵循如下规则：

1. 每一行存放一个标注类别
2. 每一行的内容包括class x_center y_center width height
3. Bounding box 的坐标信息是归一化之后的（0-1）class label转化为index时计数是从0开始的

---

三、划分训练集、验证集与对应标签

在上一步已经制作好了标注的数据集，接下来按照训练、测试的比例进行划分
在data/下，新建文件夹命名为“mydatasets”。即：data/mydatasets/，再划分train文件夹（训练数据集），labels文件夹（标签集），test文件夹。数据集、测试集与标签分别放到对应位置。如下图所示：

3.1.split_data.py

将数据按照训练测试的比例（训练:测试=8:2）

3.2 xml2txt.py

yolo的标签格式是txt格式，所以我们还需将xml标签转为txt格式。先新建txt_train、txt_valid文件夹，用于存放转换后的txt标签文件。
注意：

1. 第一次运行xml2txt.py，得到训练集的txt文件，再修改/labels/train/为/labels/valid/，得到验证集的txt文件。
2. 转换完成后将原来的train，valid文件夹删除，并将txt_train，txt_valid文件夹重命名为train，valid。

3.3 creattxt.py

这一步需要生成train.txt和valid.txt
得到的txt文件格式部分内容如下：

---

四、cfg文件修改

4.1 Darknet yolov4

创建yolov4-mydatasets.cfg，因为我用了yolov4.cfg训练太耗显存，根据自己设备设置batchsize。其主要原因是mish函数太占显存了。

4.2 Pytorch yolov5

修改的地方：
将mish函数替代为relu函数，大大降低显存使用！
classes=10 修改为类别数目。

---

五、data/下新建配置文件

在data下新建mydatasets.names文件，把自己的类别写进去即可

---

六、训练

6.1 Darknet yolov4

/darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137

6.2 Pytorch yolov5

完成上述步骤后即可训练，在train.py下运行

---

七、推理

运行detect.py

---

八、出现上述错误，还是读取训练集路径存在问题

---

上边的操作是2020年尝试YOLOV5,现在重新去体验一下代码的更新。首先第一步我们要把标注的XML数据转化成TXT文件。使用下边的代码就行了。
https://blog.csdn.net/DeepCBW/article/details/124775153?spm=1001.2014.3001.5502

# -*- coding: utf-8 -*-
"""
Time    : 2022/5/14 17:18
Author  : cong
"""
import sys
import os
import glob
import xml.etree.ElementTree as ET

names = ['hatch', 'cargo', 'aeroplane']
GT_PATH = 'datasets/coco128/labels/train2017/'
#print(GT_PATH)
os.chdir(GT_PATH)
xml_list = glob.glob('*.xml')
if not os.path.exists("backup"):
    os.makedirs("backup")
for tmp_file in xml_list:
    #print(tmp_file)
    # 1. create new file (VOC format)

    with open(tmp_file.replace(".xml", ".txt"), "a") as new_f:

        root = ET.parse(tmp_file).getroot()
        size = root.find('size')
        for obj in root.findall('object'):
          obj_name = obj.find('name').text
          obj_index = names.index(obj_name)
          bndbox = obj.find('bndbox')
          image_w = int(size.find('width').text)
          image_h = int(size.find('height').text)
          x_min = int(bndbox.find('xmin').text)
          x_max = int(bndbox.find('xmax').text)
          y_min = int(bndbox.find('ymin').text)
          y_max = int(bndbox.find('ymax').text)
          x = ((x_min + x_max)/2)/image_w
          y = ((y_min + y_max)/2)/image_h
          w = (x_max - x_min) /image_w
          h = (y_max - y_min) /image_h
          new_f.write("%d %s %s %s %s\n" % (obj_index, x, y, w, h))
    # 2. move old file (xml format) to backup
    os.rename(tmp_file, os.path.join("backup", tmp_file))
print("Conversion completed!")

然后把img和转化成txt的label 分别放在

\coco128\coco128\images\train2017  #放置图片
\coco128\coco128\labels\train2017  #放置txt

开始训练

python train.py --img 640 --batch 16 --epochs 3 --data coco128.yaml --weights yolov5s.pt

出现下边的错误的时候，是自己标签有误

assert mlc < nc, f'Label class {mlc} exceeds nc={nc} in {data}. Possible class labels are 0-{nc - 1}'