YOLOv3训练自己的数据

YOLOv3训练自己的数据

一、标注数据

1.工具:

使用的标注工具是LabelImg,其他标注工具也行,但是生成的标注label文件要是xml。这里给一个LabelImg教程的传送门 LabelImg教程

2.数据集编号:

为了规划自己的数据,减少出错的可能性,最好自己先给自己的图片编一个合理的序号,比如0001~0999

3.标注数据:

利用软件把自己的数据标注好。每一个图片名对应的有一个相应名字的label.xml


xml中的数据如下所示。这时候的path不用管他,在训练的时候不会用到这里的数据,这里后面会说到。

二、利用voc制作自己的数据集

在目录下新建VOC2007,并在VOC2007 下新建AnnotationsImageSetsJPEGImages三个文件夹。在ImageSets下新建Main文件夹。文件目录如下所示:





将自己的数据集图片拷贝到JPEGImages目录下。将数据集xml文件拷贝到Annotations目录下。

先使用test.py文件,生成train.txt文件

import os

path = 'VOCdevkit/VOC2007/Annotations/'

filelist = os.listdir(path)

with open('train.txt','w') as f:
    for i in filelist:
        f.write(i.split('.xml')[0])
        f.write('\n')

train.txt文件放到~/darknet/scripts/VOCdevkit/VOC2007/ImageSets/Main文件夹下

在代码的darknet目录下新建VOCdevkit文件夹,然后把刚才制作的VOC2007文件夹拷贝到该文件夹下。

YOLOV3的label,YOLOV3的label标注的一行五个数分别代表类别(从 0 开始编号), BoundingBox 中心 X 坐标,中心 Y 坐标,宽,高。这些坐标都是 0~1 的相对坐标。和我们刚才标注的label不同,因此我们需要下面的py文件帮我们转换label。

wget https://pjreddie.com/media/files/voc_label.py

这里需要修改两个地方,setsclassesclasses根据自己需要修改。

运行voc_label.py文件,运行后会~/darknet/scripts/VOCdevkit/VOC2007下生成label文件夹

下载darknet53的预训练模型。

wget https://pjreddie.com/media/files/darknet53.conv.74

修改voc.data,根据自己的classes和文件路径

修改yolov3.names,根据自己的classe名来写

修改yolov3.cfg,ctrl+f搜 yolo, 总共会搜出3个含有yolo的地方。

每个地方都必须要改2处,filters:3*(5+len(classes))

其中:classes: len(classes) = 1,这里以1 个类型为例
filters = 18
classes =1
可修改:random = 1:原来是1,显存小改为0。(是否要多尺度输出。)


参数文件开头的地方可以选训练的batchsize,根据自己的机器设置batchsubdivisions

参数解释(请指正)

[net]
# Testing                                  测试模式
# batch=1
# subdivisions=1
# Training                                 训练模式
 batch=64                                  一批训练样本的样本数量,每batch个样本更新一次参数
 subdivisions=16                           batch/subdivisions作为一次性送入训练器的样本数量,如果内存不够大,将batch分割为subdivisions个子batch

                                           上面这两个参数如果电脑内存小,则把batch改小一点,batch越大,训练效果越好
                                           subdivisions越大,可以减轻显卡压力
​                                          
width=416                                  input图像的宽
height=416                                 input图像的高
channels=3                                 input图像的通道数

                                           以上三个参数为输入图像的参数信息 width和height影响网络对输入图像的分辨率,
                                           从而影响precision,只可以设置成32的倍数

​                                          
momentum=0.9                              DeepLearning1中最优化方法中的动量参数,这个值影响着梯度下降到最优值得速度
decay=0.0005                              权重衰减正则项,防止过拟合.每一次学习的过程中,将学习后的参数按照固定比例进行降低,为了防止过拟合,decay参数越大对过拟合的抑制能力越强。

angle=0                                    通过旋转角度来生成更多训练样本
saturation = 1.5                           通过调整饱和度来生成更多训练样本
exposure = 1.5                             通过调整曝光量来生成更多训练样本
hue=.1                                     通过调整色调来生成更多训练样本

learning_rate=0.001                        学习率决定着权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。
                                           如果仅靠人为干预调整参数,需要不断修改学习率。刚开始训练时可以将学习率设置的高一点,
                                           而一定轮数之后,将其减小
                                           在训练过程中,一般根据训练轮数设置动态变化的学习率。
                                           刚开始训练时:学习率以 0.01 ~ 0.001 为宜。
                                           一定轮数过后:逐渐减缓。
                                           接近训练结束:学习速率的衰减应该在100倍以上。
                                           学习率的调整参考
                                           
                                           
burn_in=1000                               在迭代次数小于burn_in时,其学习率的更新有一种方式,大于burn_in时,才采用policy的更新方式
max_batches = 20200                        训练达到max_batches后停止学习
policy=steps                               这个是学习率调整的策略,有policy:constant, steps, exp, poly, step, sig, RANDOM,constant等方式
                                           参考
                                           
                                           
steps=40000,45000                          下面这两个参数steps和scale是设置学习率的变化,比如迭代到40000次时,学习率衰减十倍。
scales=.1,.1                               45000次迭代时,学习率又会在前一个学习率的基础上衰减十倍

[convolutional]
batch_normalize=1                          是否做BN
filters=32                                 输出特征图的数量
size=3                                     卷积核的尺寸
stride=1                                   做卷积运算的步长
pad=1                                      如果pad为0,padding由 padding参数指定;如果pad为1,padding大小为size/2,padding应该是对输入图像左边缘拓展的像素数量
activation=leaky                           激活函数的类型

# Downsample

[convolutional]
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=32
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky

[shortcut]
from=-3
activation=linear

# Downsample

   ......

# Downsample

######################

[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=45                          每一个[region/yolo]层前的最后一个卷积层中的 filters=(classes+1+coords)*anchors_num,
                                    其中anchors_num 是该层mask的一个值.如果没有mask则 anchors_num=num是这层的ancho
                                    5的意义是5个坐标,论文中的tx,ty,tw,th,to
activation=linear

[yolo]                              在yoloV2中yolo层叫region层
mask = 6,7,8                        这一层预测第6、7、8个 anchor boxes ,每个yolo层实际上只预测3个由mask定义的anchors


anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
                                    [?]anchors是可以事先通过cmd指令计算出来的,是和图片数量,width,height以及cluster(应该就是下面的num的值,
                                    即想要使用的anchors的数量)相关的预选框,可以手工挑选,也可以通过kmeans 从训练样本中学出
                                    
                                    
classes=10                          网络需要识别的物体种类数
num=9                               每个grid cell预测几个box,和anchors的数量一致。当想要使用更多anchors时需要调大num,且如果调大num后训练时Obj趋近0的话可以尝试调大object_scale
jitter=.3                           [?]利用数据抖动产生更多数据,YOLOv2中使用的是crop,filp,以及net层的angle,flip是随机的,
                                    jitter就是crop的参数,tiny-yolo-voc.cfg中jitter=.3,就是在0~0.3中进行crop
                                    
                                    
ignore_thresh = .5                  决定是否需要计算IOU误差的参数,大于thresh,IOU误差不会夹在cost function中 
truth_thresh = 1
random=0                            如果为1,每次迭代图片大小随机从320到608,步长为32,如果为0,每次训练大小与输入大小一致

[route]
layers = -4

voc.datayolov3.cfgyolov3_test.cfgyolov3.names放到own/struct文件夹下

三、开始训练

执行命令进行训练:

./darknet detector train own/struct/voc.data own/struct/yolov3.cfg darknet53.conv.74

log说明

Region xx: cfg文件中yolo-layer的索引;

Avg IOU:当前迭代中,预测的box与标注的box的平均交并比,越大越好,期望数值为1;

Class: 标注物体的分类准确率,越大越好,期望数值为1;

obj: 越大越好,期望数值为1;

No obj: 越小越好;

.5R: 以IOU=0.5为阈值时候的recall; recall = 检出的正样本/实际的正样本

0.75R: 以IOU=0.75为阈值时候的recall;

count:正样本数目。

执行命令进行测试

./darknet detector test own/struct/voc.data own/struct/yolov3_test.cfg backup/yolov3_final.weights scripts/VOCdevkit/VOC2007/JPEGImages/01_1.jpg

你可能感兴趣的:(YOLOv3训练自己的数据)