利用yolov5训练自己的数据集（环境安装 数据集标签的自制 训练数据集 模型的测试）

1.环境的安装

b站讲解环境安装

csdn中环境安装的文章（可以不用上面说的清华源而直接用外网的）

文章对应视频

2.labelimg的安装   （用于打标签）

在cmd命令行输入

pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple

下载好后  需要用的话就打开cmd命令行输入labeling就可

labelimg中 “open dir” 是打开图片的文件夹   选择后会自动跳转让我们选择标签存放的文件夹   也可以点“change save dir”重新选择

3.建立两个文件夹 JPEGImages   和    Annotations 

前一个放图片后一个放用labelimg打的标签的xml格式  也就是  labelimg中选择PascalVOC

4.在github中下载yolov5文件

在pycharm中打开

在终端Terminal 中安装要求的依赖包

点开requirements.txt

复制第一排的下载   （在终端中 输入pip install xxx  为下载     pip uninstall  为卸载）

pip install -r requirements.txt

5.yolov5-6.0/date下把JPEGImages   和    Annotations  文件夹放进去 在images中放入JPEGImages   同样的图片。  在date下建立  ImageSets（用于存放代码   1.py  将数据集分类成的  train（训练集）  val（验证集）   trainval（前面两个的和）test（测试集））  建立labels文件夹（存放的是代码2.py将原xml格式转化成的yolov5使用的txt格式）

“训练集（Training set）模型拟合的数据样本，用来估计模型，
验证集(Cross Validation set) 用来确定网络结构或者控制模型复杂程度的参数
测试集(Test set)，用来检验最终选择最优的模型的性能如何

    训练集-----------学生的课本；学生 根据课本里的内容来掌握知识。
    验证集------------作业，通过作业可以知道 不同学生学习情况、进步的速度快慢。
    测试集-----------考试，考的题是平常都没有见过，考察学生举一反三的能力。”
原文

6.    (1)py代码如下（目的是将数据集分类成的  train（训练集）  val（验证集）   trainval（前面两个的和）test（测试集））

import os
import random
trainval_percent = 0.8 # 训练集和验证集所占比例，剩下的0.2是测试集比例
train_percent = 0.9 # 训练集所占比例 
#比例按需要选择
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
ftrainval = open('data/ImageSets/trainval.txt', 'w')
ftest = open('data/ImageSets/test.txt', 'w')
ftrain = open('data/ImageSets/train.txt', 'w')
fval = open('data/ImageSets/val.txt', 'w')
for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)
ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

运行后会在date/ImageSets下产生四个文件 trainval.txt    train.txt   val.txt   test.txt

(2)2.py  代码如下（目的是将原xml格式转化成的yolov5使用的txt格式）

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
sets = ['train', 'test','val']
classes = ['cat','dog']
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)
def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

在主目录下创建python文件1.py  和2.py  里面分别放入上述对应代码

然后按顺序运行1.py和2.py

注意：2.py运行之前必须要把class改为自己数据集对应的名字 否则labels里面没有txt 运行的时候就会报错提醒为空     ValueError: zero-size array to reduction operation maximum which has no identity

7.更改数据配置文件

   在yolov5-6.0/date下找到VOC.yaml文件  建议复制一个再粘贴到同一文件夹下名字命名为与标签对应的名字  如  catdog.yaml

在catdog.yaml文件中  更改train val  的路径  （路径复制的快捷键是ctrl + shift + C）和class（标签种类的数量)的数目和名字   train val 的路径改为在date文件夹下面的train.txt   val.txt  而不是ImageSets下的train.txt  val.txt

catdog.yaml  修改后为下图类似

8.更改模型配置文件

models/yolov5s.yaml  

models/yolov5m.yaml 

models/yolov5l.yaml 

models/yolov5n.yaml 

models/yolov5x.yaml 中选择所需要的  同上建议复制一份

只需要更改数量就可

9.在源文件的train.py中文件中修改部分参数（weight——初始化的权重文件地址    cfg——模型配置文件地址（models中的yolov5s.yaml等等）   date——数据配置文件（date/catdog.yaml）地址   epochs——迭代数按需要来不一定越大越好      batch-size   改小为8）

10.就可以运行train.py  运行时候可能会报错说“页面文件太小无法完成操作”

可能是因为pytorch存在D盘中没有虚拟内存的分配就要手动分配   在“查看高级系统设置中”

高级——性能设置——高级——更改——点击D盘——自定义大小——数据102400-102400

具体方法

运行的时候可能会因为在github下载预训练权重连接不上提醒出错

此时可以自己在官网下载再放到pycharm中

官网下载预训练权重

11.运行之后  就会告诉你训练结果保存在哪

默认是runs里面  在里面找到best.pt就是我们训练的最好的权重文件

后面利用这个权重文件来测试

12.在主目录下找detect.py

把best.pt传到推理函数

weights 后面放的是best.pt 的路径

注意：直接粘贴是一条斜杠

字母也会变色这时应该把一杠改成两杠

source参数后面放的是需要测试的图片或者文件。