PaddleDetection开发套件训练自己的数据

PaddleDetection以模块化的设计实现了多种主流目标检测算法，并且提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署能力。本文通过增强版yolov3网络架构为例训练自己的数据。

一、环境准备：

1.python=3.6
2.paddlepaddle=1.8.0 
  官网安装教程(https://paddlepaddle.org.cn/install/quick)
3.安装COCO-API 
  $ pip install "git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI"
4.克隆PaddleDetection模块
  $ cd 
  $ git clone https://github.com/PaddlePaddle/PaddleDetection.git

二、数据集准备：

PaddleDetection默认支持COCO和Pascal VOC数据集格式，以下是两种数据集的制作流程

Pascal VOC数据集准备：

用LabelImg软件进行图像标注，其中Annotations文件夹放标注文件，JPEGImages文件夹放图片，ImageSets文件夹的Main文件夹下放.txt文件，生成.txt代码：

# -*- coding:utf8 -*-  
import os  
import random  
trainval_percent = 0.66  
train_percent = 0.5  
xmlfilepath = 'Annotations'  
txtsavepath = 'ImageSets\Main'  
total_xml = os.listdir(xmlfilepath) 

num=len(total_xml)  
list=range(num)  
tv=int(num*trainval_percent)  
tr=int(tv*train_percent)  
trainval= random.sample(list,tv)  

ftrainval = open('ImageSets/Main/trainval.txt', 'w')  
fval = open('ImageSets/Main/val.txt', 'w')  

for i  in list:  
    name=total_xml[i][:-4]+'\n'  
    if i in trainval:  
        ftrainval.write(name)  
    else:
        fval.write(name)  
        
ftrainval.close()  
fval.close()  

 VOCdevkit/VOC2007
    ├── Annotations
          ├── 001789.xml
          |   ...
    ├── JPEGImages
          ├── 001789.jpg
          |   ...
    ├── ImageSets
          ├── Main
               ├── trival.txt
               ├── test.txt

$ cd
$ python dataset/voc/create_list.py

Pascal VOC 数据集目录结构如下：
dataset/voc/
  ├── train.txt
  ├── val.txt
  ├── test.txt
  ├── label_list.txt (optional)
  ├── VOCdevkit/VOC2007
  │   ├── Annotations
  │       ├── 001789.xml
  │       |   ...
  │   ├── JPEGImages
  │       ├── 001789.jpg
  │       |   ...
  │   ├── ImageSets
  │       |   ...

注意：在yaml配置文件中设置use_default_label=False, 将从label_list.txt 中读取类别列表，反之则如果没有label_list.txt文件，会使用Pascal VOC数据集的默认类别列表

COCO数据集准备：

coco
 ├── Annotations
      ├── 001789.xml
      |   ...
 ├── JPEGImages
      ├── 001789.jpg
      |   ...

用LabelImg进行图像标注，Annotations文件夹放标注文件，JPEGImages文件夹放图像
将数据转化为.csv文件格式，

# -*- coding:utf-8 -*- 
import csv
import os
import glob
import sys
import numpy as np 
import random
class PascalVOC2CSV(object):
    def __init__(self,xml=[], ann_path='./annotations.csv',classes_path='./classes.csv'):
          '''
          :param xml: 所有Pascal VOC的xml文件路径组成的列表
          :param ann_path: ann_path
          :param classes_path: classes_path
          '''
          self.xml = xml
          self.ann_path = ann_path
          self.classes_path=classes_path
          self.label=[]
          self.annotations=[]
          self.anno = []
          self.data_transfer()
          self.write_file()
    def data_transfer(self):
    
        for num, xml_file in enumerate(self.xml):
                try:
                    print(xml_file)
                    # 进度输出
                    sys.stdout.write('\r>> Converting image %d/%d' % (
                            num + 1, len(self.xml)))
                    sys.stdout.flush()
                    image_num = len(self.xml)
                    print(image_num)
                    with open(xml_file, 'r') as fp:
                            for p in fp:
                                if '' in p:
                                    self.filen_ame = p.split('>')[1].split('<')[0]
                                if '