基于pytorch的SSD模型训练

SSD模型论文：https://blog.csdn.net/quincuntial/article/details/78854930
汉化
0、环境准备：
ubuntu18.04.4系统，pytorch1.2.0，CUDN10，CUDNN7.4.2，GPU为GTX1050
1、训练前的准备：
VOC数据集的准备，使用ImafeLable或其他数据集标注工具，将原始数据集转换为VOC数据集，使用ImageLable刚开始会出现两个文件夹，分别为Annotations、JPEGImages文件夹，我们还需要创建一个ImageSets文件夹，里面有一个Main文件夹，在ImageSets/Main文件夹中有四个txt文件，分别为test.txt,trainval.txt,train.txt和testval.txt，使用转换脚本transport.py:

import os  
import random  
 
trainval_percent = 0.8
train_percent = 0.5  
xmlfilepath = 'VOC2007/Annotations/'  
txtsavepath = 'VOC2007/ImageSets/Main/'  
total_xml = os.listdir(xmlfilepath)  
 
num=len(total_xml)  
list=range(num)  
tv=int(num*trainval_percent)  
tr=int(tv*train_percent)  
trainval= random.sample(list,tv)  
train=random.sample(trainval,tr)  
 
ftrainval = open(txtsavepath+'/trainval.txt', 'w')  
ftest = open(txtsavepath+'/test.txt', 'w')  
ftrain = open(txtsavepath+'/train.txt', 'w')  
fval = open(txtsavepath+'/testval.txt', 'w')  
 
for i  in list:  
    name=total_xml[i][:-4]+'\n'  
    if i in trainval:  
        ftrainval.write(name)  
        if i in train:  
            ftrain.write(name)  
        else:  
            fval.write(name)  
    else:  
        ftest.write(name)  
 
ftrainval.close()  
ftrain.close()  
fval.close()  
ftest .close()

可以得到四个txt文件
2、下载SSD-pytorch代码
代码下载：https://github.com/amdegroot/ssd.pytorch
预训练模型下载：https://download.csdn.net/download/qq_34374211/10712378
3、参数修改：
首先我们要知道自己数据集含有的类别（注：背景也算一类）
（1）config.py

打开config.py，可以找到这样一段代码，要修改的就是num_class(类别数），更具自己数据集的实际情况进行修改。至于max_iter指的是最大迭代数，在尝试训练阶段，建议把它调低，比如调到1000，在确认训练过程没有问题之后，在调大迭代次数。这样可以有效的节约训练时间。
（2）VOC0712.py

因为我是用的VOC格式的数据集，所以要在VOC0712.py处理数据。按照自己的数据的类别进行修改。（注：如果你的类别只有一类，voc_classes的小括号外面要加上中括号）
（3）train.py

要训练自己的数据集，在这个train.py中我们必须要修改的是预训练的模型，根据自己的下载的预训练模型修改，官方提供的是VGG16_reducedfc_pth,链接已提供。批处理数根据排至修改，batch_size越大对显卡的内存要求就越大，我使用的是NVIDIA 1050 2G ，batch_size大小使用1. （根据经验，batch_size大小适宜，训练效果会更好）
Batch Size从小到大的变化对网络影响
1、没有Batch Size，梯度准确，只适用于小样本数据库
2、Batch Size=1，梯度变来变去，非常不准确，网络很难收敛。
3、Batch Size增大，梯度变准确，
4、Batch Size增大，梯度已经非常准确，再增加Batch Size也没有用
注意：Batch Size增大了，要到达相同的准确度，必须要增大epoch。

在尝试阶段，为了节省时间，建议将根据迭代次数保存模型的参数调低，例如调节到500。之后正式开始训练后在调高。
（4）eval.py

在训练得到模型之后，要修改评估的模型的名。
（5）ssd.py

4、可能遇到的问题
（1）

解决方法：

（2）自动跳出迭代：
解决方法：

（3）loss为nan：
解决方法：

这个问题是由学习率够高引起的，只需降低学习率即可，loss出现一直nan会导致训练出来的模型检测不出来任何东西。
（4）IndexError: too many indices for array
注意：该错误可能是由两个原因引起的：
a、.xml对应的图片为空（即因意外丢失了数据）
该错误可用以下代码检查，如果确为数据丢失，换数据集吧

import argparse
import sys
import cv2
import os

import os.path          as osp
import numpy            as np

if sys.version_info[0] == 2:
    import xml.etree.cElementTree as ET
else:
    import xml.etree.ElementTree  as ET


parser    = argparse.ArgumentParser(
            description='Single Shot MultiBox Detector Training With Pytorch')
train_set = parser.add_mutually_exclusive_group()

parser.add_argument('--root', default='data/VOC2007' , help='Dataset root directory path')

args = parser.parse_args()

CLASSES = (  # always index 0
    'person','car','diningtable','dog')

annopath = osp.join('%s', 'Annotations', '%s.{}'.format("xml"))
imgpath  = osp.join('%s', 'JPEGImages',  '%s.{}'.format("jpg"))

def vocChecker(image_id, width, height, keep_difficult = False):
    target   = ET.parse(annopath % image_id).getroot()
    res      = []

    for obj in target.iter('object'):

        difficult = int(obj.find('difficult').text) == 1

        '''if not keep_difficult and difficult:
            continue'''

        name = obj.find('name').text.lower().strip()
        bbox = obj.find('bndbox')

        pts    = ['xmin', 'ymin', 'xmax', 'ymax']
        bndbox = []

        for i, pt in enumerate(pts):

            cur_pt = int(bbox.find(pt).text) - 1
            # scale height or width
            cur_pt = float(cur_pt) / width if i % 2 == 0 else float(cur_pt) / height

            bndbox.append(cur_pt)

        print(name)
        label_idx =  dict(zip(CLASSES, range(len(CLASSES))))[name]
        bndbox.append(label_idx)
        print(bndbox)
        res += [bndbox]  # [xmin, ymin, xmax, ymax, label_ind]
        # img_id = target.find('filename').text[:-4]
    print(res)
    try :
        print(np.array(res)[:,4])
        print(np.array(res)[:,:4])
    except IndexError:
        print("\nINDEX ERROR HERE !\n")
        exit(0)
    return res  # [[xmin, ymin, xmax, ymax, label_ind], ... ]

if __name__ == '__main__' :

    i = 0

    for name in sorted(os.listdir(osp.join(args.root,'Annotations'))):
    # as we have only one annotations file per image
        i += 1

        img    = cv2.imread(imgpath  % (args.root,name.split('.')[0]))
        height, width, channels = img.shape
        print("path : {}".format(annopath % (args.root,name.split('.')[0])))
        res = vocChecker((args.root, name.split('.')[0]), height, width)
    print("Total of annotations : {}".format(i))

b、.xml文件中中的值不为0
即下图红框中的值为1：

解决方案：

将图中红框部分注释，在文件VOC0712中。

5、测试结果：
使用GTX1050跑了3个小时，LOSS降到了1左右，精度为0.6086，效果如下所示：