YOLOv7训练自定义数据集

使用YOLOv7做对比实验，需要重新部署一下YOLO环境，并将COCO格式数据集转换为YOLO格式
博主的COCO数据集是由WiderPerson数据集转换来的，并且做了一些处理。

环境

Ubuntu18.0 CUDA11.2 NVIDIA T4

项目部署

下载项目：

git clone https://gitcode.net/mirrors/WongKinYiu/yolov7.git

环境部署

conda create -n python python=3.8
conda activate python

安装依赖：

 pip install -r requirements.txt

YOLO的环境还是很好安装的。

数据集格式转换

# COCO 格式的数据集转化为 YOLO 格式的数据集
# --json_path 输入的json文件路径
# --save_path 保存的文件夹名字，默认为当前目录下的labels。

import os
import json
from tqdm import tqdm
import argparse

parser = argparse.ArgumentParser()
# 这里根据自己的json文件位置，换成自己的就行
parser.add_argument('--json_path',
                    default='/home/ubuntu/conda/data/annotations/instances_val2017.json', type=str,
                    help="input: coco format(json)")
# 这里设置.txt文件保存位置
parser.add_argument('--save_path', default='/home/ubuntu/conda/data/labels/val/', type=str,
                    help="specify where to save the output dir of labels")
arg = parser.parse_args()


def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = box[0] + box[2] / 2.0
    y = box[1] + box[3] / 2.0
    w = box[2]
    h = box[3]
    # round函数确定(xmin, ymin, xmax, ymax)的小数位数
    x = round(x * dw, 6)
    w = round(w * dw, 6)
    y = round(y * dh, 6)
    h = round(h * dh, 6)
    return (x, y, w, h)


if __name__ == '__main__':
    json_file = arg.json_path  # COCO Object Instance 类型的标注
    ana_txt_save_path = arg.save_path  # 保存的路径

    data = json.load(open(json_file, 'r'))
    if not os.path.exists(ana_txt_save_path):
        os.makedirs(ana_txt_save_path)

    id_map = {}  # coco数据集的id不连续！重新映射一下再输出！
    with open(os.path.join(ana_txt_save_path, 'classes.txt'), 'w') as f:
        # 写入classes.txt
        for i, category in enumerate(data['categories']):
            f.write(f"{category['name']}\n")
            id_map[category['id']] = i
    # print(id_map)
    # 这里需要根据自己的需要，更改写入图像相对路径的文件位置。
    list_file = open(os.path.join(ana_txt_save_path, 'train2017.txt'), 'w')
    for img in tqdm(data['images']):
        filename = img["file_name"]
        img_width = img["width"]
        img_height = img["height"]
        img_id = img["id"]
        head, tail = os.path.splitext(filename)
        ana_txt_name = head + ".txt"  # 对应的txt名字，与jpg一致
        f_txt = open(os.path.join(ana_txt_save_path, ana_txt_name), 'w')
        for ann in data['annotations']:
            if ann['image_id'] == img_id:
                box = convert((img_width, img_height), ann["bbox"])
                f_txt.write("%s %s %s %s %s\n" % (id_map[ann["category_id"]], box[0], box[1], box[2], box[3]))
        f_txt.close()
        # 将图片的相对路径写入train2017或val2017的路径
        list_file.write('/home/ubuntu/conda/data/images/%s.jpg\n' % (head))
    list_file.close()

生成的数据集是这样的，首先是train2017.txt，记录数据集地址

然后是每个图片文件的标注文件：

这时还需进行数据集的划分，因为此时我们自定义的数据集所有的图像都在同一个文件中，要按照train2017.txt与val2017.txt中文件划分好训练集与验证集

import shutil
import os
f = open("/home/ubuntu/conda/data/labels/val/val2017.txt")
dstpath="/home/ubuntu/conda/data/image/val/"
lines = f.readlines()
for line in lines:
    line=line.replace("\n","")
    fpath,fname=os.path.split(line)
    print(fname)
    shutil.copy(line, dstpath + fname)
f.close()

至此数据集处理工作完成了。

开启训练

数据集配置文件修改

修改配置文件,首先是数据集文件的配置，由于我们初始时使用的是COCO数据集，那么我们这里就在/data/coco.ymal文件上直接修改了。
下面这三处都是要修改的，分别对应数据集地址，数据集类别数目以及数据集类别。

修改后的文件如下所示：

train: /home/ubuntu/conda/data/images/train/  # 118287 images
val: /home/ubuntu/conda/data/images/val/  # 5000 images
nc: 1
names: [ 'pedestrains',  ]

train.py配置文件修改

 	parser = argparse.ArgumentParser()
    parser.add_argument('--weights', type=str, default='/home/ubuntu/conda/yolov7/weights/yolov7_training.pt', help='initial weights path')
    parser.add_argument('--cfg', type=str, default='/home/ubuntu/conda/yolov7/cfg/training/yolov7.yaml', help='model.yaml path')
    parser.add_argument('--data', type=str, default='data/coco.yaml', help='data.yaml path')
    parser.add_argument('--hyp', type=str, default='data/hyp.scratch.p5.yaml', help='hyperparameters path')
    parser.add_argument('--epochs', type=int, default=200)
    parser.add_argument('--batch-size', type=int, default=4, help='total batch size for all GPUs')

需要修改模型的配置文件，使用哪个模型的配置文件就用哪个，博主用的是/home/ubuntu/conda/yolov7/cfg/training/yolov7.yaml，修改其类别数目。

随后下载预训练权重即可。