深度学习的数据格式转换（mobilenet+ssd,centernet）

深度学习的数据格式转换（mobilenet+ssd,centernet）

初步生成VOC2012数据集

1、数据标注

1.1有目标的图片标注

应用labelImg对图片进行标注，下载链接：https://github.com/tzutalin/labelImg
标注时，需要注意的点，（参考自https://blog.csdn.net/chenmaolin88/article/details/79357502）

标注什么	预定义的所有类别的所有对象实例（就是说，如果图片里面有３只浣熊，就要分别标注３只浣熊）, 除非:你拿不准那玩意儿是不是。对象非常非常的小（尺度自己拿捏），只能看见对象的不到 10-20%的部分 , 因此你拿不准那个到底是哪一类的，比如你只能看见一个轮胎，你不确定是卡车还是小轿车，这种就可以不用标注.如果图片中的对象肉眼都难以识别，就丢掉这张图片
难以识别（difficult）	若肉眼虽然可以大致识别，但确信度不是很高，则勾选difficult复选框，表示这个对象不是很好识别。
矩形框	用矩形框标注对象的可见区域， 不可见的区域不要标注.　非对象的区域不要标注，矩形框应该要且仅包括对象的所有可见的像素点, 除非为了包括很小一部分的对象部件，需要扩大很大一个矩形框面积，比如，小轿车的天线可以不用框进来，因为他太小了，且天线对于汽车来说无关紧要，并非主要特征。
截断Truncated	如果对象超过 15-20% 的部分不在矩形框内，则将对象标记为Truncated. 这个标记意味着矩形框内没有包含完成的对象实例。这个属性在LabelImg中无法直接勾选，需要手工编辑ＸＭＬ文件里的对应标签。
遮挡Occlusion	如果矩形框内，对象有超过 5% 的部分被遮挡, 标记为 Occluded. 这个标记指示矩形框内的图像存在被遮挡的情况。这个属性在LabelImg中无法直接勾选，需要手工编辑ＸＭＬ文件里的对应标签。
衣服、雪、泥etc	如果遮挡物是跟对象强相关的，则不用标记为遮挡，比如　人身上的衣服，应视为人的一部分。
透明	透过玻璃看到的对象也应该被标记, 但是若玻璃是有点反光的，则玻璃上的映像，应被标记为遮挡 occlusion
镜子	镜子里的对象也应该被标记。
透明	透过玻璃看到的对象也应该被标记, 但是若玻璃是有点反光的，则玻璃上的映像，应被标记为遮挡 occlusion
海报	图片里面的海报、杂志等上面的对象也应该被标记，除非是一些很浮夸的卡通画

1.2无目标图片的标注

应用以下代码，自动生成无标注目标的xml文件
参考链接：https://www.jianshu.com/p/5b2254fdf8f8

#! /usr/bin/python
# -*- coding:UTF-8 -*-
import os, sys
import glob
from PIL import Image
 
# VEDAI 图像存储位置
src_img_dir = "/home/lehui/Desktop/负样本700"
# VEDAI 图像生成的xml文件存放位置
src_xml_dir = "/home/lehui/Desktop/xml"
 
img_Lists = glob.glob(src_img_dir + '/*.jpg')
 
img_basenames = [] # e.g. 100.jpg
for item in img_Lists:
    img_basenames.append(os.path.basename(item))
 
img_names = [] # e.g. 100
for item in img_basenames:
    temp1, temp2 = os.path.splitext(item)
    img_names.append(temp1)
 
for img in img_names:
    im = Image.open((src_img_dir + '/' + img + '.jpg'))
    width, height = im.size
    # write in xml file
    #os.mknod(src_xml_dir + '/' + img + '.xml')
    xml_file = open((src_xml_dir + '/' + img + '.xml'), 'w')
    xml_file.write('\n')
    xml_file.write('    VOC2007\n')
    xml_file.write('    ' + str(img) + '.jpg' + '\n')
    xml_file.write('    '+ src_xml_dir + '/' + str(img) + '.jpg' + '\n')
    xml_file.write('    \n')
    xml_file.write('        ' + "Unknow" + '\n')
    xml_file.write('    \n')
    xml_file.write('    \n')
    xml_file.write('        ' + str(width) + '\n')
    xml_file.write('        ' + str(height) + '\n')
    xml_file.write('        3\n')
    xml_file.write('    \n')
    xml_file.write('    0\n')
    xml_file.write('')

2、分配训练集、验证集、测试集

应用以下代码，分别得到train、val、test对应的xml集合。
参考链接：https://www.cnblogs.com/gezhuangzhuang/p/10613468.html

import os  
import random  
import time  
import shutil
#xmlfilepath——所有xml的路径，saveBasePath——保存结果的路径，下面建立三个文件夹：train、val、test
xmlfilepath=r'./Annotations'  
saveBasePath=r"./Annotations"

trainval_percent=0.8  
train_percent=0.8  
total_xml = os.listdir(xmlfilepath)  
num=len(total_xml)  
list=range(num)  
tv=int(num*trainval_percent)  
tr=int(tv*train_percent)  
trainval= random.sample(list,tv)  
train=random.sample(trainval,tr)  
print("train and val size",tv)  
print("train size",tr) 

start = time.time()

test_num=0  
val_num=0  
train_num=0  

for i in list:  
    name=total_xml[i]
    if i in trainval:  #train and val set 
        if i in train: 
            directory="train"  
            train_num += 1  
            xml_path = os.path.join(os.getcwd(), 'Annotations/{}'.format(directory))  
            if(not os.path.exists(xml_path)):  
                os.mkdir(xml_path)  
            filePath=os.path.join(xmlfilepath,name)  
            newfile=os.path.join(saveBasePath,os.path.join(directory,name))  
            shutil.copyfile(filePath, newfile)
        else:
            directory="validation"  
            xml_path = os.path.join(os.getcwd(), 'Annotations/{}'.format(directory))  
            if(not os.path.exists(xml_path)):  
                os.mkdir(xml_path)  
            val_num += 1  
            filePath=os.path.join(xmlfilepath,name)   
            newfile=os.path.join(saveBasePath,os.path.join(directory,name))  
            shutil.copyfile(filePath, newfile)

    else:
        directory="test"  
        xml_path = os.path.join(os.getcwd(), 'Annotations/{}'.format(directory))  
        if(not os.path.exists(xml_path)):  
                os.mkdir(xml_path)  
        test_num += 1  
        filePath=os.path.join(xmlfilepath,name)  
        newfile=os.path.join(saveBasePath,os.path.join(directory,name))  
        shutil.copyfile(filePath, newfile)

end = time.time()  
seconds=end-start  
print("train total : "+str(train_num))  
print("validation total : "+str(val_num))  
print("test total : "+str(test_num))  
total_num=train_num+val_num+test_num  
print("total number : "+str(total_num))  
print( "Time taken : {0} seconds".format(seconds))

3、文件格式组成

：所有的xml文件
：所有的图片
：2中生成的训练集、测试集、验证集对应的txt
标签分类的配置文件（label_map.txt）

item {
  id: 1    # id 从1开始编号
  name: 'red pedestrian'
}

item {
  id: 2
  name: 'green pedestrian'
}

tfrecored数据的生成

依赖\models\research\object_detection\dataset_tools\create_pascal_tf_record.py代码，
修改对应参数，生成tfrecored格式数据。

json数据的生成

根据xml文件生成对应的json
参考链接：https://blog.csdn.net/weixin_41765699/article/details/100124689

import xml.etree.ElementTree as ET
import os
import json
 
coco = dict()
coco['images'] = []
coco['type'] = 'instances'
coco['annotations'] = []
coco['categories'] = []
 
category_set = dict()
image_set = set()
 
category_item_id = -1
image_id = 20180000000
annotation_id = 0
 
 
def addCatItem(name):
    global category_item_id
    category_item = dict()
    category_item['supercategory'] = 'none'
    category_item_id += 1
    category_item['id'] = category_item_id
    category_item['name'] = name
    coco['categories'].append(category_item)
    category_set[name] = category_item_id
    return category_item_id
 
 
def addImgItem(file_name, size):
    global image_id
    if file_name is None:
        raise Exception('Could not find filename tag in xml file.')
    if size['width'] is None:
        raise Exception('Could not find width tag in xml file.')
    if size['height'] is None:
        raise Exception('Could not find height tag in xml file.')
    image_id += 1
    image_item = dict()
    image_item['id'] = image_id
    image_item['file_name'] = file_name
    image_item['width'] = size['width']
    image_item['height'] = size['height']
    coco['images'].append(image_item)
    image_set.add(file_name)
    return image_id
 
 
def addAnnoItem(object_name, image_id, category_id, bbox):
    global annotation_id
    annotation_item = dict()
    annotation_item['segmentation'] = []
    seg = []
    # bbox[] is x,y,w,h
    # left_top
    seg.append(bbox[0])
    seg.append(bbox[1])
    # left_bottom
    seg.append(bbox[0])
    seg.append(bbox[1] + bbox[3])
    # right_bottom
    seg.append(bbox[0] + bbox[2])
    seg.append(bbox[1] + bbox[3])
    # right_top
    seg.append(bbox[0] + bbox[2])
    seg.append(bbox[1])
 
    annotation_item['segmentation'].append(seg)
 
    annotation_item['area'] = bbox[2] * bbox[3]
    annotation_item['iscrowd'] = 0
    annotation_item['ignore'] = 0
    annotation_item['image_id'] = image_id
    annotation_item['bbox'] = bbox
    annotation_item['category_id'] = category_id
    annotation_id += 1
    annotation_item['id'] = annotation_id
    coco['annotations'].append(annotation_item)
 
 
def parseXmlFiles(xml_path):
    for f in os.listdir(xml_path):
        if not f.endswith('.xml'):
            continue
 
        bndbox = dict()
        size = dict()
        current_image_id = None
        current_category_id = None
        file_name = None
        size['width'] = None
        size['height'] = None
        size['depth'] = None
 
        xml_file = os.path.join(xml_path, f)
        print(xml_file)
 
        tree = ET.parse(xml_file)
        root = tree.getroot()
        if root.tag != 'annotation':
            raise Exception('pascal voc xml root element should be annotation, rather than {}'.format(root.tag))
 
        # elem is , , ,