使用keras-retinanet训练自己的数据集

使用kears-retinanet训练自己的数据集

1.数据准备

(1.)数据标注

使用labelimg对自己准备好的数据集图片进行标注，我是mac版本的labelimg直接搜索下载mac版本的labelimg包，解压缩后运行
python Downloads/labelImg/labelImg.py
即可使用，w是标注框的快捷键，a键是上一张图片，d键是下一张图片，有一个经验是:数据文件夹和标注的label以及图片的名字尽量不要包含中文。
标注完成的样子如图：

(2).数据集切分

// An highlighted block
# -*- coding=utf-8 -*-
import os
import shutil
import random
#修改split_fraction的数值改变切分的比例，我自己训练和验证是9:1
def split_dataset(dataset, split_fraction=0.9):
    train_data_dir = os.path.join(dataset, 'train')
    test_data_dir = os.path.join(dataset, 'test')

    if os.path.exists(train_data_dir) and os.path.exists(test_data_dir):
        return train_data_dir, test_data_dir
    os.makedirs(train_data_dir)
    os.makedirs(test_data_dir)
    
    #根据自己的图片后缀修改JPG为你对应图片的数据类型，共6处
    img_samples = [tr for tr in os.listdir(dataset) if tr.endswith('.JPG')]
    print(len(img_samples))
    train_samples = random.sample(img_samples,int(len(img_samples)*split_fraction))
    test_samples = [te for te in img_samples if te not in train_samples]
    os.mkdir(os.path.join(dataset,'train','JPEGImages'))
    os.mkdir(os.path.join(dataset,'train','Annotations'))
    os.mkdir(os.path.join(dataset, 'test', 'JPEGImages'))
    os.mkdir(os.path.join(dataset,'test','Annotations'))
    for s in train_samples:
        print(s)
        shutil.move(os.path.join(dataset,s),os.path.join(dataset,'train','JPEGImages'))
        shutil.move(os.path.join(dataset,s.replace('JPG','xml')),os.path.join(dataset,'train','Annotations'))
    for t in test_samples:
        shutil.move(os.path.join(dataset, t), os.path.join(dataset, 'test', 'JPEGImages'))
        shutil.move(os.path.join(dataset, t.replace('JPG','xml')), os.path.join(dataset, 'test', 'Annotations'))
    return train_data_dir, test_data_dir
def clean_dataset(dataset):
    img_samples = [tr for tr in os.listdir(dataset) if tr.endswith('.JPG') ]
    xml_samples = [tr for tr in os.listdir(dataset) if tr.endswith('.xml')]
    if len(img_samples) > len(xml_samples):
        for s in img_samples:
            if  s.replace('JPG','xml') not in xml_samples:
                os.remove(os.path.join(dataset,s))
    else:
        for s in xml_samples:
            if s.replace('JPG','xml') not in img_samples:
                os.remove(os.path.join(dataset,s))

if __name__ == '__main__':
#修改自己的数据集位置，该文件中应包含所有的图片及对应的xml
    clean_dataset('/path/data')
    split_dataset('/path/data')

执行完该切分代码后文件夹中会变成这样：
data为你的原始文件夹下面会被切分成train/test，train里面包含Annotations（存放左右的xml）和JPEGImages （存放所有的图片）2个文件夹，test里面一样。

(3).生成训练所需的csv文件

将train中的Annotations和下面这段代码的py文件放在同一个目录下，运行py文件会在同目录下生成2个文件：

#-*- coding:utf-8 -*-

import csv
import os
import glob
import sys

class PascalVOC2CSV(object):
    def __init__(self,xml=[], ann_path='./Annotations.csv',classes_path='./classes.csv'):
        '''
        :param xml: 所有Pascal VOC的xml文件路径组成的列表
        :param ann_path: ann_path
        :param classes_path: classes_path
        '''
        self.xml = xml
        self.ann_path = ann_path
        self.classes_path=classes_path
        self.label=[]
        self.annotations=[]

        self.data_transfer()
        self.write_file()


    def data_transfer(self):
        for num, xml_file in enumerate(self.xml):
#             try:
                # print(xml_file)
                # 进度输出
                sys.stdout.write('\r>> Converting image %d/%d' % (
                    num + 1, len(self.xml)))
                sys.stdout.flush()

                with open(xml_file, 'r',encoding='UTF-8') as fp:
                    for p in fp:
                        if '' in p:
                            self.filen_ame = p.split('>')[1].split('<')[0]
                            print(self.filen_ame)

                        if '