labelImg: https://github.com/tzutalin/labelImg适用于图像检测的数据集制作,可以直接生成yolo的标注格式。
label 文件格式:
<目标类别> <中心点X坐标> <中心点Y坐标> <宽> <高>
(归一化到了【0,1】之间,除以图像宽高)
eg: = /
= /
几个常用的快捷键:
w | 创建矩形框 |
---|---|
d | 下一张图片 |
a | 上一张图片 |
另一个工具Yolo_mark:https://github.com/AlexeyAB/Yolo_mark
下面是标注文件为xml格式的处理过程,txt文件的话直接复制到labels文件夹即可
VOCdevkit
——VOC2020
————---Annotations #放入所有的xml文件
————---ImageSets
——————-----Main #放入train.txt,val.txt文件
————---JPEGImages #放入所有的训练图片文件
————---labels #放入所有的txt文件,会自动生成此文件夹
————---TESTImages #放入所有的测试图片文件
#Main中的文件分别表示test.txt是测试集,train.txt是训练集,val.txt是验证集
import os
import time
def mkFolder(path):
year = str(time.localtime()[0])
floderName = 'VOC' + year
# path = os.path.normpath(path)
floderPath = os.path.join(path, floderName)
if not os.path.exists(floderPath):
os.makedirs(floderPath)
print(floderPath)
subfloderName = ['Annotations', 'ImageSets', 'JPEGImages', 'labels', 'TESTImages']
for name in subfloderName:
subfloderPath = os.path.join(path, floderName, name)
print(subfloderPath)
if not os.path.exists(subfloderPath):
os.makedirs(subfloderPath)
if name == 'ImageSets':
secSubFolderName = 'Main'
secSubFolderPath = os.path.join(path, floderName, name, secSubFolderName)
print(secSubFolderPath)
if not os.path.exists(secSubFolderPath):
os.makedirs(secSubFolderPath)
if __name__ == '__main__':
path = r'D:\program' #更换自己的文件夹路径
mkFolder(path)
可以修改训练集和验证集的比例,生成train.txt 和val.txt 文件
import os
from os import listdir, getcwd
from os.path import join
if __name__ == '__main__':
source_folder = 'D:/github/darknet/build/darknet/x64/scripts/VOCdevkit/VOC2020/JPEGImages'
dest = 'D:/github/darknet/build/darknet/x64/scripts/VOCdevkit/VOC2020/ImageSets/Main/train.txt' # train.txt文件路径
dest2 = 'D:/github/darknet/build/darknet/x64/scripts/VOCdevkit/VOC2020/ImageSets/Main/val.txt' # val.txt文件路径
file_list = os.listdir(source_folder)
train_file = open(dest, 'a')
val_file = open(dest2, 'a')
file_num = 0
for file_obj in file_list:
file_path = os.path.join(source_folder, file_obj)
file_name, file_extend = os.path.splitext(file_obj)
file_num = file_num + 1
if (file_num % 4 == 0): # 每隔4张选取一张验证集
val_file.write(file_name + '\n')
else:
train_file.write(file_name + '\n')
# val_file.write(file_name + '\n')
#
# train_file.write(file_name + '\n')
train_file.close()
val_file.close()
将voc_label.py放到VOCdevkit文件夹下,如下图所示:
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
sets=[('2020', 'train'), ('2020', 'val')] ##这里要与Main中的txt文件一致
#classes = ["bubble", "adhension","outer","inner"]
classes = ["bubble"] # #你所标注的类别名
def convert(size, box):
dw = 1./(size[0])
dh = 1./(size[1])
x = (box[0] + box[1])/2.0 - 1
y = (box[2] + box[3])/2.0 - 1
w = box[1] - box[0]
h = box[3] - box[2]
x = x*dw
w = w*dw
y = y*dh
h = h*dh
return (x,y,w,h)
def convert_annotation(year, image_id):
in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id), encoding="utf8")
out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w', encoding="utf8")
tree=ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult)==1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
bb = convert((w,h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
for year, image_set in sets:
if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):
os.makedirs('VOCdevkit/VOC%s/labels/'%(year))
image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip('\n').split('\n')
list_file = open('%s_%s.txt'%(year, image_set), 'w')
for image_id in image_ids:
list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
convert_annotation(year, image_id)
list_file.close()
#os.system("cat 2020_train.txt 2020_val.txt > train.txt")
复制cfg文件夹下的voc.data,重命名为obj.data
classes= 1
train = scripts/2020_train.txt
valid = scripts/2020_val.txt
names = data/obj.names
backup = backup/
复制data目录下的voc.name,改为obj.name,里面写标签的名字,每行一个
把第三行batch改为batch=64
把subdivisions那一行改为 subdivisions=16
将max_batch更改为(数据集标签种类数(classes)*2000 但不小于训练的图片数量以及不小于6000)
将第20的steps改为max_batch的0.8倍和0.9倍
把位于8-9行设为width=416 height=416 或者其他32的倍数:
将classes=80 改为你的类别数 (有三个地方,969行,1056行,1143行)
改正[filters=255] 为 filters=(classes + 5)x3 (位置为查找yolo,每个yolo前的[convolutional]里,注意只修改最接近yolo的那个filters需要修改,一共应该有三处)
如果使用 [Gaussian_yolo] 层,修改 filters=(classes + 9)x3 (位置为CRRL+F查找Gaussian_yolo,每个Gaussian_yolo前的[convolutional]里,注意只修改最接近Gaussian_yolo的那个filters需要修改,一共应该有三处)
yolov4.conv.137为预训练权重,没有的话会随机初始化权重
预训练权重,密码:jirs
darknet.exe detector train data/obj.data yolov-obj.cfg yolov4.conv.137 -map
mAP(均值平均精度) = 所有类别的平均精度求和除以所有类别
每4个Epochs计算一次map
训练生成的权重文件在
last_weights 每迭代100次保存一次
xxxx_weights 每迭代1000次保存一席
每迭代100步可以手动停止,下次训练加载此次的权重文件便可以接着训练。
eg:从2000步停止训练后,可以使用如下命令继续训练
darknet.exe detector train data/obj.data yolo-obj.cfg backup\yolo-obj_2000.weights
停止训练的条件:
训练过程中如果 avg出现nan,训练可能出错,需要停止
如果nan出现在其他行,训练正常
如果迭代很多次后avg补再下降,需要停止
avg越低越好—,也要防止过拟合
对小的模型、简单的数据集,avg一般为0.05
对大的模型、复杂的数据集,avg一般为3
895行 layers = 23.
892行 stride=4
989行 stride=4
如果你的数据左右对象作为不同的类,比如:左右手、向左转、向右转路标
在数据增强部分 17行增加flip=0
如果小目标和巨大的目标一起训练,需要修改模型
为了使定位框更准确,在每个[yolo]层增加ignore_thresh = .9 iou_normalizer=0.5 iou_loss=giou——这会提高[email protected], 但是会降低[email protected].
如果你很精通,可以重新计算自己数据集的anchor
darknet.exe detector calc_anchors data/obj.data -num_of_clusters 9 -width 416 -height 416 -show
同目录下会生成anchors.txt
7. 更高的准确率需要更高的分辨率,608X608或者832X832,如果显存不够,增加subdivisions=16, 32 or 64