模型训练测试之三：yolov5 模型训练及windows部署（一）

1、项目背景

本想写项目，但被说了，所以，没了。

本项目基于Pytorch版本的yolov5实现xxxx识别。

2、网络结构介绍

​ Pytorch版本的yolov5的模型介绍，估计网上一大堆，要想看源码或者原始模型介绍，可自行百度。如果需要pdf版本（自己不想找），私信我即可。

3、模型训练

​ 源码下载：https://github.com/ultralytics/yolov5.git

3.1 源码目录主要部分介绍：

• 环境配置

  conda activate yolov5
  pip install -r requirements.txt
  

  如果anaconda官方源安装速度较慢，可指定源进行安装，如

  pip install -r requirements.txt  -i https://pypi.doubanio.com 豆瓣源
  

• data文件夹（创建自己的训练文件）
  

• datasets文件夹（创建自己的训练数据集）
  

3.2 数据集准备

​ 举例：

• 准备10000张图片，及对应的xml文件，存放于 images里面即可；

• 使用convert_data.py，将其放在项目根目录下，运行对数据集进行处理，生成满足yolov5训练的格式，

  # -*- coding: utf-8 -*-
  import xml.etree.ElementTree as ET
  from tqdm import tqdm
  import os
  from os import getcwd
  
  # 重点是下面这块代码，即将box = [xmin, ymin, xmax, ymax] -> [x_center, y_center, width, height]
  def convert(size, box):
      dw = 1. / (size[0])
      dh = 1. / (size[1])
      x = (box[0] + box[1]) / 2.0 - 1 # 求中心点坐标x, y
      y = (box[2] + box[3]) / 2.0 - 1
      w = box[1] - box[0] # 求宽度，高度
      h = box[3] - box[2]
      x = x * dw
      w = w * dw
      y = y * dh
      h = h * dh
      return x, y, w, h
  
  def convert_annotation(image_id, project_name):
      # 自己可选择是否添加异常处理，此处注释
      # try:
      # 打开对应图片xml文件
      in_file = open('datasets/{}/images/{}.xml'.format(project_name, image_id), encoding='utf-8')
  	# 创建对应图片txt文件
      out_file = open('datasets/{}/labels/{}.txt'.format(project_name, image_id), 'w', encoding='utf-8')
      tree = ET.parse(in_file) # 解析xml
      root = tree.getroot()
      size = root.find('size')
      w = int(size.find('width').text) # 获取高宽
      h = int(size.find('height').text)
      # 读取xml中各个object的bbox信息
      for obj in root.iter('object'):
          difficult = obj.find('difficult').text
          cls = obj.find('name').text
          if cls not in classes or int(difficult) == 1:
              continue
          cls_id = classes.index(cls)
          xmlbox = obj.find('bndbox')
          b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
               float(xmlbox.find('ymax').text))
          b1, b2, b3, b4 = b
          # 标注越界修正
          if b2 > w:
              b2 = w
          if b4 > h:
              b4 = h
          b = (b1, b2, b3, b4) # 得到某一个object的bbox信息
          bb = convert((w, h), b) # 进行转换
          out_file.write(str(cls_id) + " " +
                         " ".join([str(a) for a in bb]) + '\n')
      # except Exception as e:
      #     print(e, image_id)
  
  
  if __name__ == '__main__':
  
      # 自定义修改
      project_names = {"coco_xxxx_ocr": ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F' , 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z'],}
      
      project_name = 'coco_xxxx_ocr'
      sets = ['train', 'val']
  
      # 获取images里的所有图片的序号
      image_ids = [v.split('.')[0]
                   for v in os.listdir('datasets/{}/images/'.format(project_name)) if v.endswith('.xml')]
      import random
      random.shuffle(image_ids) # 打乱数据集
      split_num = int(0.95 * len(image_ids)) # 划分数据集
      classes = project_names[project_name] # 获取对应数据集的标签列表
  	# 创建转换之后的txt文件存放路径labels
      if not os.path.exists('datasets/{}/labels/'.format(project_name)):
          os.makedirs('datasets/{}/labels/'.format(project_name))
  	# 创建train2017.txt
      list_file = open('datasets/{}/train2017.txt'.format(project_name), 'w')
      for image_id in tqdm(image_ids[:split_num]):
          # 此处是对所有类型图片机型智能化区分，有bmp、jpg
          if os.path.exists('datasets/{}/images/{}.bmp'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.bmp\n'.format(project_name, image_id))
          elif os.path.exists('datasets/{}/images/{}.jpg'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.jpg\n'.format(project_name, image_id))
          # 转换
          convert_annotation(image_id, project_name)
      list_file.close()
  	# 创建val2017.txt
      list_file = open('datasets/{}/val2017.txt'.format(project_name), 'w')
      for image_id in tqdm(image_ids[split_num:]):
          if os.path.exists('datasets/{}/images/{}.bmp'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.bmp\n'.format(project_name, image_id))
          elif os.path.exists('datasets/{}/images/{}.jpg'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.jpg\n'.format(project_name, image_id))
          convert_annotation(image_id, project_name)
      list_file.close()
  
  
  

  完成数据转换，即在同名数据集下，

  1）自动生成labels文件夹，里面包含对应图片的txt文件。如下：
  

2）train2017.txt、val2017.txt、test2017.txt

​ 如下所示，每一行为每一张图片的路径，可绝对，可相对，建议绝对 该py文件，其实满足所有yolo系列的数据集处理。

• 开始训练

  python train.py --img 640 --batch 4 --epoch 300 --data .\data\coco_xxxx_ocr.yaml --cfg .\models\yolov5m.yaml --weights .\weights\yolov5m.pt --workers 0
  

训练报错处理1：

OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. OMP: Hi.......

在train.py文件开头添加几行代码，如下，即可解决
import os
os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' 

• 模型测试1（单张图片）

python detect.py --weights ..\runs\train_xxxx_ocr\exp6\weights\best.pt --source ..\test\xxxxxxxxxxx.jpg

• 模型测试2（批量测试，生成对应txt）

  test.py 文件里
  

  --task 测试文件中的任务选项，有train、val、test，对应yaml文件中的三个有train2017.txt\val2017.txt\test2017.txt路径，如果没有txt文件，根据你的测试图片路径创建，然后在yaml文件中进行修改
  --data 和训练代码中的类似，--data .\data\coco_xxxx_ocr.yaml
  --weights 训练出来的模型路ing ..\runs\train_xxxx_ocr\exp6\weights\best.pt 
  --batch_size 测试批次大小，取决于自己的电脑配置
  --imgsz 测试图片resize大小，和训练时匹配一致即可
  --device 0，1，2，3..... 或者cpu
  --save-txt 是否对应图片结果保存txt文件
  
  
  python test.py --weights ..\runs\train_xxxx_ocr\exp6\weights\best.pt --data .\data\coco_xxxx_ocr.yaml