Darknet YoloV4编译+训练（避免踩坑）

AlexAB/darknet-yolov4编译+训练

	时间间隔好几天今天来更新一下yolov4的训练。。。。

训练篇

• 在训练之前需要对大佬的源码进行编译本本机编译，编译过程可查看下述链接：

  https://blog.csdn.net/qq_49838648/article/details/124611927?spm=1001.2014.3001.5502

• 首先确定darknet编译成功-测试一波：

  

数据放置

• 打开创建用于放置数据的训练文件夹。

  cd darknet-master
  mkdir mydata ###该文件的创建是用于保存你自己的cfg文件，data文件，names文件，预训练模型权重。
  mkdir dataset
  cd dataset
  annotations_cache-----------为缓存文件，训练启动后会自己生成，如类别训练时候类别信息变动需要手动删除。
  mkdir Annotations ###放置来自与labelme标注的xml文件
  mkdir ImageSets
  cd ImageSets
  mkdir Main ###放置来自labelme标注xml文件对应的图片生成的路径
  mkdir JPEGImages ###放置来自labelme标注xml文件对应的图片
  mkdir labels ###放置下述脚本文件makeXTX:将xml文件转为txt的类别文件。
  /
  

  cd darknet-master
  touch makeTXT.py

  	# coding:utf-8
  	#该文件用于创建图片片打乱的相对路径用于后续训练使用。
  	import os
  	import random
  	import argparse
  	
  	parser = argparse.ArgumentParser()
  	#xml文件的地址，根据自己的数据进行修改 xml一般存放在Annotations下
  	parser.add_argument('--xml_path', default='dataset/Annotations', type=str, help='input xml label path')
  	#数据集的划分，地址选择自己数据下的ImageSets/Main
  	parser.add_argument('--txt_path', default='dataset/ImageSets/Main', type=str, help='output txt label path')
  	opt = parser.parse_args()
  	
  	trainval_percent = 1.0
  	train_percent = 0.9
  	xmlfilepath = opt.xml_path
  	txtsavepath = opt.txt_path
  	total_xml = os.listdir(xmlfilepath)
  	if not os.path.exists(txtsavepath):
  	    os.makedirs(txtsavepath)
  	
  	num = len(total_xml)
  	list_index = range(num)
  	tv = int(num * trainval_percent)
  	tr = int(tv * train_percent)
  	trainval = random.sample(list_index, tv)
  	train = random.sample(trainval, tr)
  	
  	file_trainval = open(txtsavepath + '/trainval.txt', 'w')
  	file_test = open(txtsavepath + '/test.txt', 'w')
  	file_train = open(txtsavepath + '/train.txt', 'w')
  	file_val = open(txtsavepath + '/val.txt', 'w')
  	
  	for i in list_index:
  	    name = total_xml[i][:-4] + '\n'
  	    if i in trainval:
  	        file_trainval.write(name)
  	        if i in train:
  	            file_train.write(name)
  	        else:
  	            file_val.write(name)
  	    else:
  	        file_test.write(name)
  	
  	file_trainval.close()
  	file_train.close()
  	file_val.close()
  	file_test.close()
  

• 运行成功后 ImageSets / Main / 下会生成 / trainval.txt，train.txt，test.txt，val.txt。

  touch voc_label.py/更改源码中classes

  import xml.etree.ElementTree as ET
  import pickle
  import os
  from os import listdir, getcwd
  from os.path import join
  # import io
  #该源码目的是创建用于训练的txt文件。
  sets = ['train', 'test', 'val']
  classes = ['person', 'dog']   #######youself classes 
  def convert(size, box):
      dw = 1. / size[0]
      dh = 1. / size[1]
      x = (box[0] + box[1]) / 2.0
      y = (box[2] + box[3]) / 2.0
      w = box[1] - box[0]
      h = box[3] - box[2]
      x = x * dw
      w = w * dw
      y = y * dh
      h = h * dh
      return (x, y, w, h)#/home/yd/code/duchangchun/yolov4/dataset/Annotations
  def convert_annotation(image_id):
      in_file = open('dataset/Annotations/%s.xml' % (image_id), encoding='UTF-8')
      out_file = open('dataset/labels/%s.txt' % (image_id), 'w', encoding='UTF-8')
      tree = ET.parse(in_file)
      root = tree.getroot()
      size = root.find('size')
      w = int(size.find('width').text)
      h = int(size.find('height').text)
      for obj in root.iter('object'):
          try:
              difficult = obj.find('difficult').text
              cls = obj.find('name').text
              if cls not in classes or int(difficult) == 1:
                  continue
          except:
              difficult = obj.find('Difficult').text
              cls = obj.find('name').text
              if cls not in classes or int(difficult) == 1:
                  continue
  
          cls_id = classes.index(cls)
          xmlbox = obj.find('bndbox')
          b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
               float(xmlbox.find('ymax').text))
          bb = convert((w, h), b)
          out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
  wd = getcwd()
  print(wd)
  for image_set in sets:
      if not os.path.exists('dataset/labels'):
          os.makedirs('dataset/labels/')
      image_ids = open('dataset/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
      list_file = open('dataset/%s.txt' % (image_set), 'w',encoding='utf-8')
      for image_id in image_ids:
          list_file.write('dataset/JPEGImages/%s.jpg\n' % (image_id))
          convert_annotation(image_id)
      list_file.close()
  
  

  • 运行成功后dataset文件夹下会生成相应的，trainval.txt，train.txt，test.txt，val.txt。

  cd mydata
  touch mydata.names ///打开该文本将你自己的类别名字（纵向）放置进去。

  例：
  person
  dog
  

  touch mydata.data ///打开该文本放置以下你自己的数据信息。绝对路径最好

  classes= 2
  train  = /home/11/darknet-master/dataset/train.txt   ##上述提到的dataset文件下的txt路径
  valid  = /home/11/darknet-master/dataset/val.txt     ##上述提到的txt路径
  names = /home/11/darknet-master/mydata/mydata.names   
  backup = /home/11/darknet-master/backup         ##训练最后生成的权重文件保存位置                                 
  

  • 至此数据准备完毕

文件放置规范

• 打开cfg文件夹找到yolov4.cfg copy 到 mydata 文件夹后打开

  [net]                   ####net部分
  batch=32				###batchsize为一次投入多少数据   subdivsiond为batchsize投入的数据分为多少份给网络
  subdivisions=32         ###  根据自己的设备调整以防 cuda out of memery
  # Training
  #width=512
  #height=512
  width=416	     		###图片宽高根据自己显卡性能设置
  height=416
  channels=3
  momentum=0.949
  decay=0.0005
  angle=0
  saturation = 1.5
  exposure = 1.5
  hue=.1
  
  learning_rate=0.0013
  burn_in=1000
  max_batches = 34000    	###max_batches设置规则为：类别*2000
  policy=steps
  steps=27200,30600       ###step设置规则为：max_batches*0.8,max_batches*0.9
  scales=.1,.1
  
  #cutmix=1
  mosaic=1  						###马赛克数据增强的阈值
  
  

• 使用Ctrl+F快捷键 在yolov4.cfg中搜索修改相关配置信息。

  修改classes，使用快捷键搜索关键字[yolo]可以搜到3次，修改classes的数量为你的类别数，这里classes=2，
  修改filters，每次搜到的yolo上一个的[convolutional]中filters=(classes + 5)x3 比如filters=21。

• 至此yolov4cfg文件修改保存。

开始训练。。。

• yolov4启动训练

  ./darknet detector train mydata/mydata.data mydata/yolov4.cfg mydata/yolov4.conv.137 
  

• yolov4训练使用gpu以及实时查看map曲线

  ./darknet detector train mydata/mydata.data mydata/yolov4.cfg mydata/yolov4.conv.137 -gups 0,1,2  -maps
  

• resume

  注：在训练过程中如果断开，路径backup文件夹下会生成yolov4.finnal.weights,如想继续训练可使用该命令

  ./darknet detector train mydata/mydata.data mydata/yolov4.cfg backup/yolov4.finnal.weights -gups 0,1,2 -maps