keras_retinanet 目标检测——自定义图片数据集的模型训练步骤

最近在学习 keras_retinanet ，下面就记录下用自己的数据集进行的模型训练。

大致分为以下几步：

• 自定义训练数据
• 图片目标标注
• 生成用于训练的图片名称、目标标注位置及目标类别的.csv文件
• 开始训练模型（注意参数调整）
• 转换训练好的模型
• 用转换后的模型进行目标检测

下面就一步一步介绍吧：

目录

1.下载包，安装环境。

2.准备数据集

3.训练模型

4.目标检测

---

由于我之前已经安装了vs2015、Anaconda和Pycharm，就不在此赘述了。

本机配置：

• GTX 1060 3G       
• Win10 64              
• vs2015                    
• Anaconda3 5.1.0  
• Pycharm                  

1.下载包，安装环境。

• 从Github上下载Github ——> keras-retinanet这个仓库
• 确保你的环境里有tensorflow、numpy、keras
• 切换到当前目录下运行

  pip install . --user

  或者直接从克隆的仓库中运行代码，但是需要运行python setup.py build_ext --inplace来首先编译Cython代码。

• 如果还不行就把keras_retinanet这整个目录拷贝到你自己环境的D:\Anaconda3-5.0.1\envs\tf-gpu\Lib\site-packages下

测试准备：点击测试模型下载，将用于测试的模型resnet50_coco_best_v2.1.0.h5放在snapshots目录下

下面就可以在jupyter notebook运行examples里的ResNet50RetinaNet.ipynb进行测试，当然也可以在jupyter notebook中将文件保存成.py格式的在pycharm里运行。

2.准备数据集

• retinanet模型训练的数据是按照VOC2007格式处理的，所以你也需要将自己的数据准备成VOC2007的格式

1. 准备如图三个文件夹，JPEGImages放你自己准备训练模型的图片，图片名称最好是按1.jpg,2.jpg这种类型；
2. Annotations放图片目标的位置和类型标注的.xml文件，这个可以用Github——>labellmg里的生成目标标注的工具自动生成.xml的文件（注意使用时将保存路径改到Annotations文件夹）；
3. ImageSets里的子文件夹Main里放按比例随机抽样切分的训练集、验证集、测试集样本下标值的txt文件，这个可以用如下gen_main_txt.py自动生成

   import os
   import random
   
   trainval_percent = 0.8  # 自定义用于训练模型的数据（训练数据和交叉验证数据之和）占全部数据的比例
   train_percent = 0.8  # 自定义训练数据占训练数据交叉验证数据之和的比例
   xmlfilepath = 'Annotations'
   txtsavepath = 'ImageSets\Main'
   total_xml = os.listdir(xmlfilepath)
   
   num = len(total_xml)
   list = range(num)
   tv = int(num * trainval_percent)
   tr = int(tv * train_percent)
   trainval = random.sample(list, tv)
   train = random.sample(trainval, tr)
   
   ftrainval = open('ImageSets/Main/trainval.txt', 'w')
   ftest = open('ImageSets/Main/test.txt', 'w')
   ftrain = open('ImageSets/Main/train.txt', 'w')
   fval = open('ImageSets/Main/val.txt', 'w')
   
   for i in list:
       name = total_xml[i][:-4]+'\n'
       if i in trainval:
           ftrainval.write(name)
           if i in train:
               ftrain.write(name)
           else:
               fval.write(name)
       else:
           ftest.write(name)
   
   ftrainval.close()
   ftrain.close()
   fval.close()
   ftest .close()

    

4. 生成包含文件名、目标位置、目标类型的annotations.csv文件和类别标签的classes.csv文件，这个可以用gen_csv.py自动生成

   import csv
   import os
   import glob
   import sys
   
   class PascalVOC2CSV(object):
       def __init__(self, xml=[], ann_path='./annotations.csv', classes_path='./classes.csv'):
           '''
           :param xml: 所有Pascal VOC的xml文件路径组成的列表
           :param ann_path: ann_path
           :param classes_path: classes_path
           '''
           self.xml = xml
           self.ann_path = ann_path
           self.classes_path = classes_path
           self.label = []
           self.annotations = []
   
           self.data_transfer()
           self.write_file()
   
       def data_transfer(self):
           for num, xml_file in enumerate(self.xml):
               try:
                   # print(xml_file)
                   # 进度输出
                   sys.stdout.write('\r>> Converting image %d/%d' % (
                       num + 1, len(self.xml)))
                   sys.stdout.flush()
   
                   with open(xml_file, 'r') as fp:
                       for p in fp:
                           if '' in p:
                               self.filen_ame = p.split('>')[1].split('<')[0]
   
                           if '