为faster-RCNN-TF制作PASCAL VOC2007格式的数据集

一、数据集准备

我们做目标检测的深度学习时，大家都知道要有训练（train）集，验证（valid）集和测试（test）集，数据集的格式也有很多种，我们这里使用的是pascal_voc数据格式。如下图是voc2007数据集文件夹格式

1. Annotations文件夹
   该文件下存放的是xml格式的标签文件，每个xml文件都对应于JPEGImages文件夹的一张图片。
2. JPEGImages文件夹
   该文件夹下存放的是数据集图片，包括训练和测试图片，一般都是jpg格式的照片，如果有必要的话可以将其他格式的照片转换成jpg或者用PNG格式，这个在后续会有提到
3. ImageSets文件夹
   该文件夹下存放了三个文件夹，分别是Layout、Main、Segmentation。在这里我们只用存放图像数据的Main文件夹，其他两个暂且不管。
4. SegmentationClass文件和SegmentationObject文件。
   这两个文件都是与图像分割相关，跟咱们这个没有太大关系，先不管。

1. Annotations文件夹

Annotations文件夹中存放的是xml格式的标签文件，每一个xml文件都对应于JPEGImages文件夹中的一张图片。xml文件的解析如下所示（这是我自己做的数据集的注释文件，想看原始的可以去下载PASCAL VOC2007原始数据集（http://host.robots.ox.ac.uk/pascal/VOC/voc2007/））：

        faster-RCNN-test1
        000001.jpg                                        #文件名
        G:\UAV\faster-RCNN-test1\000001.jpg                       #命名这个文件的文件夹名，不重要
                                                                       #图像来源，不重要 
                Unknown
        
                                                                         #图像尺寸，包括长、宽和通道数
                4608
                3456
                3
        
        0                                               #是否用于分割，在目标识别中01无所谓
        
        
        

2. JPEGImages文件夹

1. JPEGImages 内部存放了PASCAL VOC所提供的所有的图片，包括了训练图片、验证图片和测试图片
2. 这些图像的像素尺寸大小不一，但是横向图的尺寸大约在500375左右，纵向图的尺寸大约在375500左右，基本不会偏差超过100。（在之后的训练中，第一步就是将这些图片都resize到300300或是500500，所有原始图片不能离这个标准过远。

3. ImageSets文件夹

ImageSets存放的是每一种类型的challenge对应的图像数据。

我们只需要准备三个文件夹即可，即刚才重点介绍的3个文件夹，Annotation，JPEGImages和ImageSets文件夹。

1. 准备训练所需的图片，图片命名成VOC2007格式，这样可以免去许多麻烦，下面是一个批量重命名文件的代码：

import os

path = r'G:\\UAV\\faster-RCNN-test\\'
savedpath = r'G:\\UAV\\faster-RCNN-test1\\'

filelist = os.listdir(path)
for i in range(0 , len(filelist)):
    input_img = path + filelist[i]
    output_img = savedpath + '%06d' % (i + 1) + '.jpg'
    print(input_img)
    print(output_img)
    os.rename(input_img , output_img)

2. 对图片进行注释，我这里使用的是Windows10 + Anaconda + LabelImg来做的，具体做法参见我的另一篇（https://www.jianshu.com/p/bda8ea406498）
3. 将数据集分隔成三部分分别用于faster-RCNN的训练，验证和测试，可以通过以下代码来实现：

import cv2
import os
import random
 
root = '/public/chenhx/Deep_learning_architecture/Faster-RCNN_TF/data/VOCdevkit/VOC2007/faster-RCNN-test1'
fp = open(root + '/'+'name_list.txt' , 'r')
fp_trainval = open(root + '/'+'trainval.txt', 'w')
fp_test = open(root + '/'+'test.txt', 'w')
fp_train = open(root + '/'+'train.txt', 'w')
fp_val = open(root + '/'+'val.txt', 'w')
 
filenames = fp.readlines()
for i in range(len(filenames)):
    pic_name = filenames[i]
    pic_name = pic_name.strip()
    x = random.uniform(0, 1)
    pic_info = pic_name.split('.')[0]
    #  this 0.5 represents 50% of the data as trainval data
    if x >= 0.5:
        fp_trainval.writelines(pic_info + '\n')
 
    else:
        fp_test.writelines(pic_info + '\n')
 
fp_trainval.close()
fp_test.close()
 
 
 
fp = open(root + '/' +'trainval.txt')
filenames = fp.readlines()
for i in range(len(filenames)):
    pic_name = filenames[i]
    pic_name = pic_name.strip()
    pic_info = pic_name.split('.')[0]
    x = random.uniform(0, 1)
    #  This 0.5 represents 50% of the trainval data as train data
    if x >= 0.5:
        fp_train.writelines(pic_info + '\n')
    else:
        fp_val.writelines(pic_info + '\n')
fp_train.close()

预训练模型、数据集的具体路径放在：

- Faster-RCNN_TF
    - data
        - VOCdevkit2007
            - VOC2007
                - JPEGImages
                - Annotations
                - ImageSets
        - pretrain_model
            - VGG_imagenet.npy

至此，准备完毕！！！