YOLOv3训练自己的数据
一、标注数据
1.工具:
使用的标注工具是
LabelImg
,其他标注工具也行,但是生成的标注label
文件要是xml
。这里给一个LabelImg
教程的传送门 LabelImg教程
2.数据集编号:
为了规划自己的数据,减少出错的可能性,最好自己先给自己的图片编一个合理的序号,比如
0001~0999
。
3.标注数据:
利用软件把自己的数据标注好。每一个图片名对应的有一个相应名字的
label.xml
。
xml
中的数据如下所示。这时候的path
不用管他,在训练的时候不会用到这里的数据,这里后面会说到。
二、利用voc制作自己的数据集
在目录下新建
VOC2007
,并在VOC2007
下新建Annotations
,ImageSets
和JPEGImages
三个文件夹。在ImageSets
下新建Main文件夹。文件目录如下所示:
将自己的数据集图片拷贝到
JPEGImages
目录下。将数据集xml文件
拷贝到Annotations
目录下。
先使用
test.py
文件,生成train.txt
文件
import os
path = 'VOCdevkit/VOC2007/Annotations/'
filelist = os.listdir(path)
with open('train.txt','w') as f:
for i in filelist:
f.write(i.split('.xml')[0])
f.write('\n')
将
train.txt
文件放到~/darknet/scripts/VOCdevkit/VOC2007/ImageSets/Main
文件夹下
在代码的
darknet
目录下新建VOCdevkit
文件夹,然后把刚才制作的VOC2007
文件夹拷贝到该文件夹下。
YOLOV3的
label
,YOLOV3的label
标注的一行五个数分别代表类别(从 0 开始编号), BoundingBox 中心 X 坐标,中心 Y 坐标,宽,高。这些坐标都是 0~1 的相对坐标。和我们刚才标注的label不同,因此我们需要下面的py文件帮我们转换label。
wget https://pjreddie.com/media/files/voc_label.py
这里需要修改两个地方,
sets
和classes
,classes
根据自己需要修改。
运行
voc_label.py
文件,运行后会~/darknet/scripts/VOCdevkit/VOC2007
下生成label
文件夹
下载
darknet53
的预训练模型。
wget https://pjreddie.com/media/files/darknet53.conv.74
修改
voc.data
,根据自己的classes
和文件路径
修改
yolov3.names
,根据自己的classe
名来写
修改
yolov3.cfg
,ctrl+f搜 yolo, 总共会搜出3个含有yolo的地方。每个地方都必须要改2处,filters:3*(5+len(classes))
其中:classes: len(classes) = 1,这里以1 个类型为例
filters = 18
classes =1
可修改:random = 1:原来是1,显存小改为0。(是否要多尺度输出。)
参数文件开头的地方可以选训练的batchsize,根据自己的机器设置batch
和subdivisions
参数解释(请指正)
[net]
# Testing 测试模式
# batch=1
# subdivisions=1
# Training 训练模式
batch=64 一批训练样本的样本数量,每batch个样本更新一次参数
subdivisions=16 batch/subdivisions作为一次性送入训练器的样本数量,如果内存不够大,将batch分割为subdivisions个子batch
上面这两个参数如果电脑内存小,则把batch改小一点,batch越大,训练效果越好
subdivisions越大,可以减轻显卡压力
width=416 input图像的宽
height=416 input图像的高
channels=3 input图像的通道数
以上三个参数为输入图像的参数信息 width和height影响网络对输入图像的分辨率,
从而影响precision,只可以设置成32的倍数
momentum=0.9 DeepLearning1中最优化方法中的动量参数,这个值影响着梯度下降到最优值得速度
decay=0.0005 权重衰减正则项,防止过拟合.每一次学习的过程中,将学习后的参数按照固定比例进行降低,为了防止过拟合,decay参数越大对过拟合的抑制能力越强。
angle=0 通过旋转角度来生成更多训练样本
saturation = 1.5 通过调整饱和度来生成更多训练样本
exposure = 1.5 通过调整曝光量来生成更多训练样本
hue=.1 通过调整色调来生成更多训练样本
learning_rate=0.001 学习率决定着权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。
如果仅靠人为干预调整参数,需要不断修改学习率。刚开始训练时可以将学习率设置的高一点,
而一定轮数之后,将其减小
在训练过程中,一般根据训练轮数设置动态变化的学习率。
刚开始训练时:学习率以 0.01 ~ 0.001 为宜。
一定轮数过后:逐渐减缓。
接近训练结束:学习速率的衰减应该在100倍以上。
学习率的调整参考
burn_in=1000 在迭代次数小于burn_in时,其学习率的更新有一种方式,大于burn_in时,才采用policy的更新方式
max_batches = 20200 训练达到max_batches后停止学习
policy=steps 这个是学习率调整的策略,有policy:constant, steps, exp, poly, step, sig, RANDOM,constant等方式
参考
steps=40000,45000 下面这两个参数steps和scale是设置学习率的变化,比如迭代到40000次时,学习率衰减十倍。
scales=.1,.1 45000次迭代时,学习率又会在前一个学习率的基础上衰减十倍
[convolutional]
batch_normalize=1 是否做BN
filters=32 输出特征图的数量
size=3 卷积核的尺寸
stride=1 做卷积运算的步长
pad=1 如果pad为0,padding由 padding参数指定;如果pad为1,padding大小为size/2,padding应该是对输入图像左边缘拓展的像素数量
activation=leaky 激活函数的类型
# Downsample
[convolutional]
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky
[convolutional]
batch_normalize=1
filters=32
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky
[shortcut]
from=-3
activation=linear
# Downsample
......
# Downsample
######################
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
size=1
stride=1
pad=1
filters=45 每一个[region/yolo]层前的最后一个卷积层中的 filters=(classes+1+coords)*anchors_num,
其中anchors_num 是该层mask的一个值.如果没有mask则 anchors_num=num是这层的ancho
5的意义是5个坐标,论文中的tx,ty,tw,th,to
activation=linear
[yolo] 在yoloV2中yolo层叫region层
mask = 6,7,8 这一层预测第6、7、8个 anchor boxes ,每个yolo层实际上只预测3个由mask定义的anchors
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
[?]anchors是可以事先通过cmd指令计算出来的,是和图片数量,width,height以及cluster(应该就是下面的num的值,
即想要使用的anchors的数量)相关的预选框,可以手工挑选,也可以通过kmeans 从训练样本中学出
classes=10 网络需要识别的物体种类数
num=9 每个grid cell预测几个box,和anchors的数量一致。当想要使用更多anchors时需要调大num,且如果调大num后训练时Obj趋近0的话可以尝试调大object_scale
jitter=.3 [?]利用数据抖动产生更多数据,YOLOv2中使用的是crop,filp,以及net层的angle,flip是随机的,
jitter就是crop的参数,tiny-yolo-voc.cfg中jitter=.3,就是在0~0.3中进行crop
ignore_thresh = .5 决定是否需要计算IOU误差的参数,大于thresh,IOU误差不会夹在cost function中
truth_thresh = 1
random=0 如果为1,每次迭代图片大小随机从320到608,步长为32,如果为0,每次训练大小与输入大小一致
[route]
layers = -4
将
voc.data
,yolov3.cfg
,yolov3_test.cfg
,yolov3.names
放到own/struct
文件夹下
三、开始训练
执行命令进行训练:
./darknet detector train own/struct/voc.data own/struct/yolov3.cfg darknet53.conv.74
log说明
Region xx: cfg文件中yolo-layer的索引;
Avg IOU:当前迭代中,预测的box与标注的box的平均交并比,越大越好,期望数值为1;
Class: 标注物体的分类准确率,越大越好,期望数值为1;
obj: 越大越好,期望数值为1;
No obj: 越小越好;
.5R: 以IOU=0.5为阈值时候的recall; recall = 检出的正样本/实际的正样本
0.75R: 以IOU=0.75为阈值时候的recall;
count:正样本数目。
执行命令进行测试
./darknet detector test own/struct/voc.data own/struct/yolov3_test.cfg backup/yolov3_final.weights scripts/VOCdevkit/VOC2007/JPEGImages/01_1.jpg