Detectron：用自己的数据集（VOC格式）训练RetinaNet

一、 数据集（VOC）

Detectron天然支持COCO格式的数据集，但是可能我们手中的数据集是VOC格式的，这就需要我们手动的对VOC数据集进行相应的转换（xml→json），下面就以我自己的一个数据集为例，逐步说明一下数据集的配置过程。

1. 检查数据集（如果确定自己的数据集没有问题，可以跳过这一步）

首先，我们应当先检查自己的数据集是否完整，这一步也很重要，因为我就是在这一步中浪费了很长的时间。每一次应用新的数据集之前先检查一下数据集的完整性和准确性是一个很好的习惯，这会为我们省去很多解决莫名bug的时间。

由于我的数据集是从多个小数据集整合成的，所以我遇到了几个问题：

①确保每个xml标注文件都有一个相应的图像文件，即标注和图像有一一对应关系。

②xml文件中的文件名必须要有后缀（.jpg等），在训练过程中会依据这个文件名来从图像文件夹中寻找对应的图像文件。

③其他数据集问题。

2. 制作VOC文件夹（以VOC2007为例）

在 ./Detectron/detectron/datasets/data 文件夹下，创建一个文件夹，命名为 VOC2007 ，然后在 VOC2007 文件夹下，创建三个文件夹，分别命名为：annotations、JPEGImages、VOCdevkit2007。下面分别来讲这三个文件夹的配置过程。

annotations:

该文件夹下存放我们训练集和验证集的标注信息，需要是json格式，而不是之前的多个xml文件。首先，将训练集（train）和验证集（val）的标注文件（xml）放入两个不同的文件夹，如下图所示。【此处的验证集相当于一个有标注测试集，不参与训练，用来评判模型的好坏】

然后修改以下代码中的相应为自己的路径，执行两次，来将这两个文件夹中的标注文件转换到两个 json 文件中，（NOTE：在生成voc_2007_train.json的时候，将第127和183行注释掉，这两句代码是为了生成val.txt）

最后生成三个文件：

voc_2007_train.json、voc_2007_val.json、val.txt

#coding=utf-8
#fork from https://github.com/CivilNet/Gemfield/blob/master/src/python/pascal_voc_xml2json/pascal_voc_xml2json.py
import xml.etree.ElementTree as ET
import os
import json

coco = dict()
coco['images'] = []
coco['type'] = 'instances'
coco['annotations'] = []
coco['categories'] = []

category_set = dict()
image_set = set()

category_item_id = 0
image_id = 20180000000
annotation_id = 0


def addCatItem(name):
    global category_item_id
    category_item = dict()
    category_item['supercategory'] = 'none'
    category_item_id += 1
    category_item['id'] = category_item_id
    category_item['name'] = name
    coco['categories'].append(category_item)
    category_set[name] = category_item_id
    return category_item_id


def addImgItem(file_name, size):
    global image_id
    if file_name is None:
        raise Exception('Could not find filename tag in xml file.')
    if size['width'] is None:
        raise Exception('Could not find width tag in xml file.')
    if size['height'] is None:
        raise Exception('Could not find height tag in xml file.')
    image_id += 1
    image_item = dict()
    image_item['id'] = image_id
    image_item['file_name'] = file_name
    image_item['width'] = size['width']
    image_item['height'] = size['height']
    coco['images'].append(image_item)
    image_set.add(file_name)
    return image_id


def addAnnoItem(object_name, image_id, category_id, bbox):
    global annotation_id
    annotation_item = dict()
    annotation_item['segmentation'] = []
    seg = []
    # bbox[] is x,y,w,h
    # left_top
    seg.append(bbox[0])
    seg.append(bbox[1])
    # left_bottom
    seg.append(bbox[0])
    seg.append(bbox[1] + bbox[3])
    # right_bottom
    seg.append(bbox[0] + bbox[2])
    seg.append(bbox[1] + bbox[3])
    # right_top
    seg.append(bbox[0] + bbox[2])
    seg.append(bbox[1])

    annotation_item['segmentation'].append(seg)

    annotation_item['area'] = bbox[2] * bbox[3]
    annotation_item['iscrowd'] = 0
    annotation_item['ignore'] = 0
    annotation_item['image_id'] = image_id
    annotation_item['bbox'] = bbox
    annotation_item['category_id'] = category_id
    annotation_id += 1
    annotation_item['id'] = annotation_id
    coco['annotations'].append(annotation_item)


def parseXmlFiles(xml_path):
    for f in os.listdir(xml_path):
        if not f.endswith('.xml'):
            continue

        bndbox = dict()
        size = dict()
        current_image_id = None
        current_category_id = None
        file_name = None
        size['width'] = None
        size['height'] = None
        size['depth'] = None

        xml_file = os.path.join(xml_path, f)
        print(xml_file)

        tree = ET.parse(xml_file)
        root = tree.getroot() #抓根结点元素

        if root.tag != 'annotation': #根节点标签
            raise Exception('pascal voc xml root element should be annotation, rather than {}'.format(root.tag))

        # elem is , , ,