记录一下：DETR训练自制VOC转COCO数据集的过程

首先将 准备两个文件夹：Annotations（有已经标注好的.xml文件）和Images（图片）

一、统一将图片名改为int型

python代码如下：

# 修改图片的命名，按顺序
import os

class BatchRename():
    '''
    批量重命名文件夹中的图片文件
    '''

    def __init__(self):
        self.path = r'E:\yq\hat_datasets\hat-coco\changenameimages'  # 表示需要命名处理的文件夹
        self.save_path = r'E:\yq\hat_datasets\hat-coco\ChangeImageName'  # 保存重命名后的图片地址

    def rename(self):
        filelist = os.listdir(self.path)  # 获取文件路径
        total_num = len(filelist)  # 获取文件长度（个数）
        i = 0  # 表示文件的命名是从0开始的
        for item in filelist:
            print(item)
            if item.endswith('.jpg'):  # 初始的图片的格式为jpg格式的（或者源文件是png格式及其他格式，后面的转换格式就可以调整为自己需要的格式即可）
                src = os.path.join(os.path.abspath(self.path), item)  # 当前文件中图片的地址
                dst = os.path.join(os.path.abspath(self.save_path), str(i) + '.jpg')  # 处理后文件的地址和名称,可以自己按照自己的要求改进
                try:
                    os.rename(src, dst)
                    print('converting %s to %s ...' % (src, dst))
                    i = i + 1
                except:
                    continue
        print('total %d to rename & converted %d jpgs' % (total_num, i))


if __name__ == '__main__':
    demo = BatchRename()
    demo.rename()

二、修改Annotations文件夹中的.xml的命名，同图片的命名一致

代码如下：

# 修改.xml文件的命名，保持内容不变
import os
i = 0
for filename in os.listdir('E:/yq/hat_datasets/hat-coco/Annotations/'):
	newname = str(i) + ".xml" #可以是各种后缀名的文件类型
	os.rename('E:/yq/hat_datasets/hat-coco/Annotations/'+filename, 'E:/yq/hat_datasets/hat-coco/Annotations/'+newname)
	i += 1

三、修改.xml文件里filename的命名，保持与.xml一致，但一定要有图片的后缀名（.jpg或者.png)

代码如下：

import os
from xml.etree.ElementTree import parse, Element
out_dir = 'E:/yq/hat_datasets/voc_hat_coco/annotations/newval/'  ##这里是保存的目标文件夹
b = os.listdir('E:/yq/hat_datasets/voc_hat_coco/annotations/val/')
for i in  b:
    print(i)
    dom = parse('E:/yq/hat_datasets/voc_hat_coco/annotations/val/'+i)
    root = dom.getroot()
    print(root)
    for obj in root.iter('annotation'):
        obj.find('filename').text = i.rstrip(".xml")  +'.jpg'  #或者‘.png’
        name1 = obj.find('filename').text
        print(name1)
    dom.write(out_dir+i, xml_declaration=True)
     ##“Gray是我自己定义的，可以改为任意值，i为原来的名字，也可以直接修改成想要的名字”

四、划分训练集与验证集（9:1）

代码如下：

import os, random, shutil


def moveimg(fileDir, tarDir):
    pathDir = os.listdir(fileDir)  # 取图片的原始路径
    filenumber = len(pathDir)
    rate = 0.1  # 自定义抽取图片的比例，比方说100张抽10张，那就是0.1    9:1
    picknumber = int(filenumber * rate)  # 按照rate比例从文件夹中取一定数量图片
    sample = random.sample(pathDir, picknumber)  # 随机选取picknumber数量的样本图片
    print(sample)
    for name in sample:
        shutil.move(fileDir + name, tarDir + "\\" + name)
    return


def movelabel(file_list, file_label_train, file_label_val):
    for i in file_list:
        if i.endswith('.jpg'):
            filename = file_label_train + "\\" + i[:-4] + '.xml'  # 可以改成xml文件将’.txt‘改成'.xml'就可以了
            #filename = file_label_train + "\\" + i[:-4] + '.txt'  # 可以改成xml文件将’.txt‘改成'.xml'就可以了
            if os.path.exists(filename):
                shutil.move(filename, file_label_val)
                print(i + "处理成功！")


if __name__ == '__main__':
    fileDir = r"E:\yq\hat_datasets\hat\ChangeImageName" + "\\"  # 源图片文件夹路径
    tarDir = r'E:\yq\hat_datasets\hat\val'  # 图片移动到新的文件夹路径，验证集
    moveimg(fileDir, tarDir)
    file_list = os.listdir(tarDir)
    file_label_train = r"E:\yq\hat_datasets\hat\annotations" + "\\"  # 源图片标签路径
    file_label_val = r"E:\yq\hat_datasets\hat\anno\val"  # 标签，验证集
    # 移动到新的文件路径
    movelabel(file_list, file_label_train, file_label_val)

五、将annotations中划分好的train与val中的.xml文件生成对应的.txt文件

代码如下：

#将训练集和验证集的图片命名写进txt文件中
import os

saveBasePath = r'E:\yq\hat_datasets\voc_hat_coco\ImageSets\main'  # 存放txt文件的地址
jpgfilepath = r'E:\yq\hat_datasets\voc_hat_coco\val'  # jpg图片的地址
ftest = open(os.path.join(saveBasePath, 'val.txt'), 'w')  # 生成的txt文件

temp_jpg = os.listdir(jpgfilepath)  # 获得一个列表
total_jpg = []
print(temp_jpg)
for jpg in temp_jpg:
    if jpg.endswith(".jpg"):
        total_jpg.append(jpg)
num = len(total_jpg)
list = range(num)

for i in list:
    name = total_jpg[i][:-4] + '\n'  # 只取.jpg前面的数字，并且存进name
    ftest.write(name)
ftest.close()

六、执行voc2coco，将.xml文件转化成.json文件；一定要注意的是：filename必须是int型 ，因为id必须要是int型，不能是str型 ！！！filename获得的途径有两种：一是直接从annotation中的filename获得，另一个是从annotation中的path获得；由于path中的路径还有处理，所以以下代码采用第一种方式获得filename。

代码如下：

#.xml  ->  .json ,文件命名必须是纯数字类型（最后一步)
import sys
import os
import json
import xml.etree.ElementTree as ET

START_BOUNDING_BOX_ID = 1
PRE_DEFINE_CATEGORIES = {"hat": 1, "person": 2}  # 修改的地方，修改为自己的类别 0默认为背景


# If necessary, pre-define category and its id
#  PRE_DEFINE_CATEGORIES = {"aeroplane": 1, "bicycle": 2, "bird": 3, "boat": 4,
#  "bottle":5, "bus": 6, "car": 7, "cat": 8, "chair": 9,
#  "cow": 10, "diningtable": 11, "dog": 12, "horse": 13,
#  "motorbike": 14, "person": 15, "pottedplant": 16,
#  "sheep": 17, "sofa": 18, "train": 19, "tvmonitor": 20}


def get(root, name):
    vars = root.findall(name)
    return vars


def get_and_check(root, name, length):
    vars = root.findall(name)
    if len(vars) == 0:
        raise NotImplementedError('Can not find %s in %s.' % (name, root.tag))
    if length > 0 and len(vars) != length:
        raise NotImplementedError('The size of %s is supposed to be %d, but is %d.' % (name, length, len(vars)))
    if length == 1:
        vars = vars[0]
    return vars


def get_filename(filename):
    try:
        filename = os.path.splitext(filename)[0]
        return int(filename)  #filename必须是int型 ，因为id必须要是int型，不能是str型 ！！！
    except:
        raise NotImplementedError('Filename %s is supposed to be an integer.' % (filename))


# xml_list为xml文件存放的txt文件名    xml_dir为真实xml的存放路径    json_file为存放的json路径
def convert(xml_list, xml_dir, json_file):
    list_fp = open(xml_list, 'r')
    json_dict = {"images": [], "type": "instances", "annotations": [],
                 "categories": []}
    categories = PRE_DEFINE_CATEGORIES
    bnd_id = START_BOUNDING_BOX_ID
    for line in list_fp:
        line = line.strip()
        line = line + ".xml"
        print("Processing %s" % (line))
        xml_f = os.path.join(xml_dir, line)
        tree = ET.parse(xml_f)
        root = tree.getroot()
        path = get(root, 'path')
        if len(path) == 1:
            # filename = os.path.basename(path[0].text)  按路径找的，数据没改
            filename = get_and_check(root, 'filename', 1).text
            #print(filename)
        elif len(path) == 0:
            filename = get_and_check(root, 'filename', 1).text
        else:
            raise NotImplementedError('%d paths found in %s' % (len(path), line))
        ## The filename must be a number
        image_id = get_filename(filename)
        size = get_and_check(root, 'size', 1)
        width = int(get_and_check(size, 'width', 1).text)
        height = int(get_and_check(size, 'height', 1).text)
        image = {'file_name': filename, 'height': height, 'width': width,
                 'id': image_id}
        json_dict['images'].append(image)
        ## Cruuently we do not support segmentation
        #  segmented = get_and_check(root, 'segmented', 1).text
        #  assert segmented == '0'
        for obj in get(root, 'object'):
            category = get_and_check(obj, 'name', 1).text
            if category not in categories:
                new_id = len(categories)
                categories[category] = new_id
            category_id = categories[category]
            bndbox = get_and_check(obj, 'bndbox', 1)
            xmin = int(get_and_check(bndbox, 'xmin', 1).text) - 1
            ymin = int(get_and_check(bndbox, 'ymin', 1).text) - 1
            xmax = int(get_and_check(bndbox, 'xmax', 1).text)
            ymax = int(get_and_check(bndbox, 'ymax', 1).text)
            assert (xmax > xmin)
            assert (ymax > ymin)
            o_width = abs(xmax - xmin)
            o_height = abs(ymax - ymin)
            ann = {'area': o_width * o_height, 'iscrowd': 0, 'image_id':
                image_id, 'bbox': [xmin, ymin, o_width, o_height],
                   'category_id': category_id, 'id': bnd_id, 'ignore': 0,
                   'segmentation': []}
            json_dict['annotations'].append(ann)
            bnd_id = bnd_id + 1

    for cate, cid in categories.items():
        cat = {'supercategory': 'none', 'id': cid, 'name': cate}
        json_dict['categories'].append(cat)
    json_fp = open(json_file, 'w')
    json_str = json.dumps(json_dict)
    json_fp.write(json_str)
    json_fp.close()
    list_fp.close()


if __name__ == '__main__':
    # xml_list为xml文件存放的txt文件名    xml_dir为真实xml的存放路径    json_file为存放的json路径
    xml_list = r'E:\yq\hat_datasets\voc_hat_coco\ImageSets\main\train.txt'
    xml_dir = r'E:\yq\hat_datasets\voc_hat_coco\annotations\train'
    json_dir = r'E:\yq\hat_datasets\voc_hat_coco\annotations\train.json'  # 注意！！！这里train.json先要自己创建																		  #程序回报权限不足
    convert(xml_list, xml_dir, json_dir)

七、整理好自己的COCO数据集，如下图所示（自己的DETR源码需如此设置，文件名可以自行修改），annotations文件夹中包含train.json和val.json。