YOLOv2 目标检测 用自己的数据训练

目录

0.下载编译YOLOv2

1.按照Pascal VOC的格式准备自己的数据

Generate Labels for VOC

2.训练准备

2.1.修改cfg/yolov2.cfg 配置文件

2.2 修改cfg/voc.data文件

2.3修改data/voc.names 文件

2.3训练模型

3.训练参数解读

4.发布模型

 

0.下载编译YOLOv2

YOLOv2主页：https://pjreddie.com/darknet/yolov2/

系统环境：Ubuntu16.04、Nvidia TITAIN XP 显卡、Nvidia TITAIN XP 显卡驱动已经按照好。

0.首先按照官网的流程，将darknet 框架的代码下载下来，根据自己的系统情况，适当修改Makefile文件，

一般用到GPU 和 CUDNN：

所以设置：

GPU=1
CUDNN=1

并根据NVIDIA GPU的 情况设置：

ARCH= -gencode arch=compute_30,code=sm_30 \
      -gencode arch=compute_35,code=sm_35 \
      -gencode arch=compute_50,code=[sm_50,compute_50] \
      -gencode arch=compute_52,code=[sm_52,compute_52]
#      -gencode arch=compute_20,code=[sm_20,sm_21] \ This one is deprecated?

# This is what I use, uncomment if you know your arch and want to specify
# ARCH= -gencode arch=compute_52,code=compute_52

再查看Training YOLO on VOC 一节

1.按照Pascal VOC的格式准备自己的数据

我这里将所以VOC2007文件下的图像数据作为训练/验证集合；将VOC2012下的所以图像文件作为测试集合。

文件结构：

VOCdevkit 文件夹下有VOC2007文件夹 和 VOC2012文件夹

以VOC2007文件夹为例：

VOC2007文件夹下有Annotations文件夹、ImageSets文件夹、JPEGImages文件夹；

Annotations文件夹里是所以的VOC格式的目标标签xml文件；

JPEGImages文件夹下是所有的jpg图像文件；

一张jpg图像文件 对于一个 xml标签文件，且二者的命名相同 ，以.jpg  /  .xml后缀来区分。

ImageSets文件夹下面包含：Layout文件夹、Main文件夹、Segmentation文件夹，这里，我们只做目标检测，就用到Main文件夹，

Main文件夹下面有 训练/验收/测试 数据集标签的txt文件；

需要使用python 代码 根据  Annotations文件夹 和 JPEGImages文件夹的内容 生成  Main文件夹下面有 训练/验收/测试 数据集标签的txt文件 。

generateFileNameLists.py如下：

#coding=utf-8
import os
import random

#其实就是将一批数据 按照比例划分为 训练集：验证集：测试集  
#训练集 和 测试集 会合并成 trainval 集  
# trainval 包含训练集和验证集
#我这里设置了 trainval_percent 占所以图像数据50%的比例；
#而在 trainval 集合内部，有划分为train 和 val 集合，二者比例为 1:1
trainval_percent = 0.5			#trainval:test=1:1  划分比例trainval比 test =1:1  
train_percent = 0.5				#in trainval:     train:val=1:1
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets/Main'
total_xml = os.listdir(xmlfilepath)

num=len(total_xml)
list=range(num)
tv=int(num*trainval_percent)
tr=int(tv*train_percent)
trainval= random.sample(list,tv)
train=random.sample(trainval,tr)

ftrainval = open(txtsavepath+'/trainval.txt', 'w')
ftest = open(txtsavepath+'/test.txt', 'w')
ftrain = open(txtsavepath+'/train.txt', 'w')
fval = open(txtsavepath+'/val.txt', 'w')

for i  in list:
    name=total_xml[i][:-4]+'\n'   # 只显示文件名 ，一行一个文件名
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest .close()

在正确的路径下运行以上python脚本，就在Main文件夹下生成了，具体的划分比例可以在以上代码中修改。

test.txt

train.txt

trainval.txt

val.txt

就是将一批数据划分为了train.txt、test.txt 、 val.txt ；

trainval.txt 是train.txt 和  val.txt 的合并。

 

这些文件夹的每一行就是一张图像的名称（不带后缀） 也是一张图像中目标的标签文件的名称（不带后缀）：如下：

125_dirty_train
649_normal_train
796_normal_train

现在已经准备好了pascal voc 2007 和 2012数据集（jpg图像文件、xml每张图像的目标标签文件 、txt 的数据集划分文件）

 

2.根据Training YOLO on VOC 一节，将pascal voc数据集标签格式转换 darknet yolo 框架需要的标签格式：

Generate Labels for VOC

Now we need to generate the label files that Darknet uses. Darknet wants a .txt file for each image with a line for each ground truth object in the image that looks like:

Where x, y, width, and height are relative to the image's width and height. To generate these file we will run the voc_label.py script in Darknet's scripts/ directory.

Darknet 目标检测网络 需要的标签格式为：

物体类别 物体框左上角x坐标对图像宽度的相对值 物体框左上角y坐标对图像高度的相对值 物体框宽度对图像宽度的相对值 物体框高度对图像高度的相对值 

比如：一幅图像 为M*N 像素  在其中有一物体class1 的矩阵框坐标以及矩形框宽高为：（x',y',w',h')

所以，在VOCdevkit 下的VOC2007 和VOC2012 文件夹下的labels 文件夹下，将生成每一幅图像对应的目标物体的标签文件

.txt 文件，文件名与 图像的文件名一致。

class1 x'/W y'/H w'/W h'/H 

class2 x''/W y''/H w''/W h''/H 

一个.txt 文件的每一行对应一幅图像中的一个目标ground truth.

 

在darknet主目录下运行以下脚本：voc_label.py

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test'),('2012', 'train'), ('2012', 'val'), ('2012', 'test')]

'''
classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]
'''
classes = ["1"]

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(year, image_id):
    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):
        os.makedirs('VOCdevkit/VOC%s/labels/'%(year))
    image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
        convert_annotation(year, image_id)
    list_file.close()

将在VOCdevkit 下的VOC2007 和VOC2012 文件夹下的labels 文件夹下 生成每一幅图像对应的目标物体标签文件

并且在darknet的主目录下生成：

2007_train.txt 2007_val.txt 2007_test.txt

2012_train.txt 2012_val.txt 2012_test.txt

这些文件的每一行就是对应一幅图像的相对路径，比如：

/home/solanliu/yangbo/yolo/darknet/VOCdevkit/VOC2007/JPEGImages/360_normal_train.jpg
/home/solanliu/yangbo/yolo/darknet/VOCdevkit/VOC2007/JPEGImages/45_dirty_train.jpg
/home/solanliu/yangbo/yolo/darknet/VOCdevkit/VOC2007/JPEGImages/734_normal_train.jpg

这些文件夹就是划分好的训练/验证/测试集合；

然后使用一个linux 命令 cat 将 所以的：2007_*.txt 文件里包含的图像作为训练/验证数据集；

cat 2007_*.txt > train.txt

将所以的2012_*.txt 文件里包含的图像数据作为测试集；

cat 2012_*.txt > test.txt

darknet 框架的yolo 目标检测网络的训练，就需要每一幅图像 和 该幅图像 里所有的目标物体的信息；

该幅图像通过train.txt或test.txt 里的每一行（相对路径）找到，而该图中的标签信息则是通过 VOCdevkit的目录结构下的VOC2007和VOC2012文件夹下的labels文件夹下的对应的.txt 标签文件得到。

2.训练准备

2.1.修改cfg/yolov2.cfg 配置文件

首先将开头处的 training阶段的batch 和subdivisions 修改如下：

将testing阶段注释掉：

[net]
# Testing
#batch=1
#subdivisions=1
# Training
batch=64
subdivisions=8
width=608
height=608
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1


learning_rate=0.001
burn_in=1000
max_batches = 500200
policy=steps
steps=400000,450000
scales=.1,.1

其中，max_batches = 500200是最大迭代次数。

 

然后就最后一层卷积层[convolutional] 的滤波器个数据修改为自己的类别计算得到的值：

[region]下面的 classes=1 代表只有一个目标类别；

coords=4 为 目标的坐标信息（x,y,w,h)

num=5

所以：filters=num×（classes + coords + 1）=5×（1+4+1）=30 

#//修改最后一层卷积层核参数个数，计算公式是依旧自己数据的类别数filters=num×（classes + coords + 1）=5×（1+4+1）=30 

[convolutional]
size=1
stride=1
pad=1
filters=30
activation=linear


[region]
anchors =  0.57273, 0.677385, 1.87446, 2.06253, 3.33843, 5.47434, 7.88282, 3.52778, 9.77052, 9.16828
bias_match=1
classes=1
coords=4
num=5
softmax=1
jitter=.3
rescore=1

 

cfg/yolov2.cfg 文件如下:

[net]
# Testing
#batch=1
#subdivisions=1
# Training
batch=64
subdivisions=8
width=608
height=608
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1

learning_rate=0.001
burn_in=1000
max_batches = 500200
policy=steps
steps=400000,450000
scales=.1,.1

[convolutional]
batch_normalize=1
filters=32
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=64
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=128
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky


#######

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky

[route]
layers=-9

[convolutional]
batch_normalize=1
size=1
stride=1
pad=1
filters=64
activation=leaky

[reorg]
stride=2

[route]
layers=-1,-4

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=30  
activation=linear


[region]
anchors =  0.57273, 0.677385, 1.87446, 2.06253, 3.33843, 5.47434, 7.88282, 3.52778, 9.77052, 9.16828
bias_match=1
classes=1
coords=4
num=5
softmax=1
jitter=.3
rescore=1

object_scale=5
noobject_scale=1
class_scale=1
coord_scale=1

absolute=1
thresh = .6
random=1

2.2 修改cfg/voc.data文件

然后再修改：Modify Cfg for Pascal Data cfg/voc.data文件：

  1 classes= 20
  2 train  = /train.txt
  3 valid  = 2007_test.txt
  4 names = data/voc.names
  5 backup = backup

改为如下：

classes= 1
train  = /home/solanliu/yangbo/yolo/darknet/train.txt
valid  = /home/solanliu/yangbo/yolo/darknet/test.txt
names = data/voc.names
backup = backup

2.3修改data/voc.names 文件

data/voc.names 文件的每一行是一个目标的名称（英文或数字即可）：我的只有一个目标就是第0行 的 insulator ：

insulator

预训练模型可以不下载。

2.3训练模型

然后可以直接开始训练模型：

Train The Model：

./darknet detector train cfg/obj.data cfg/yolov2.cfg [weights] 2>&1 | tee log.txt

[weight]文件是预先训练好的模型，可以选。

2>&1 | tee log.txt 实现输出log 文件 

多gpu训练需要再编译darknet的时候要再Makefile中设置：NVCC；若没安装MVCC 则只能指定一块GPU进行训练。

3.训练参数解读

参考：[1] https://blog.csdn.net/xiaomifanhxx/article/details/81095074

训练中参数的意义：

Loaded: 0.181631 seconds
Region Avg IOU: 0.020407, Class: 1.000000, Obj: 0.108007, No Obj: 0.517779, Avg Recall: 0.000000,  count: 1
Region Avg IOU: 0.139675, Class: 1.000000, Obj: 0.767618, No Obj: 0.516833, Avg Recall: 0.000000,  count: 1
1: 466.579468, 466.579468 avg, 0.000000 rate, 0.042577 seconds, 2 images
Loaded: 0.365526 seconds
Region Avg IOU: 0.238722, Class: 1.000000, Obj: 0.293486, No Obj: 0.516995, Avg Recall: 0.000000,  count: 1
Region Avg IOU: 0.394324, Class: 1.000000, Obj: 0.628484, No Obj: 0.512732, Avg Recall: 0.000000,  count: 1
2: 437.570038, 463.678528 avg, 0.000000 rate, 0.019141 seconds, 4 images
Loaded: 0.451992 seconds
Region Avg IOU: 0.012798, Class: 1.000000, Obj: 0.546785, No Obj: 0.519375, Avg Recall: 0.000000,  count: 1
Region Avg IOU: 0.119224, Class: 1.000000, Obj: 0.419430, No Obj: 0.518452, Avg Recall: 0.000000,  count: 1
3: 472.883972, 464.599060 avg, 0.000000 rate, 0.019275 seconds, 6 images

(1)Region Avg IOU:平均的IOU，代表着预测的Bounding Box和Ground truth的交集与并集之比，(batch/subdivision)期望该值趋近于1。(2)Class:是标注物体的概率，期望该值趋近于1。(3)Obj：期望该值趋近于1。(4)No Obj:期望该值越来越小，但不为0。(5)AvgRecall:期望该值趋近于1，召回率比较高说明效果较好(6)count表示输出有多少个目标总和

训练完一个batch后的参数的意义：

3: 472.883972, 464.599060 avg, 0.000000 rate, 0.019275 seconds, 6 images

(1)3表示是第3个batch。(2)表示总体的损失。(3)表示平均损失，该数值越低越好。(4)代表当前的学习率。(5)表示当前批次训练花费的总时间。(6)表示参与训练的图片数目的总和。

4.发布模型

训练完成后在darknet 主目录下的backup 文件夹下得到模型快照：... 、yolov2_500000.weights、yolov2_final.weights

发布模型需要 .weight 文件，yolov2.cfg 文件 ，voc.names 文件 

通过opencv 的dnn 模块来调用，进行目标检测。