训练自己的目标检测模型：tensorflow+win7

 

1.安装标注工具
要使用自己的数据来训练模型，首先得先作数据标注，也就是先要告诉机器图像里面有什么物体、物体在位置在哪里，有了这些信息后才能来训练模型。
（1）标注数据文件
目前流行的数据标注文件格式主要有VOC_2007、VOC_2012，该文本格式来源于Pascal VOC标准数据集，这是衡量图像分类识别能力的重要基准之一。本文采用VOC_2007数据格式文件，以xml格式存储，如下：

其中重要的信息有：
filename：图片的文件名
name：标注的物体名称
xmin、ymin、xmax、ymax：物体位置的左上角、右下角坐标

（2）安装标注工具
如果要标注的图像有很多，那就需要一张一张手动去计算位置信息，制作xml文件，这样的效率就太低了。
所幸，有一位大神开源了一个数据标注工具labelImg，可以通过可视化的操作界面进行画框标注，就能自动生成VOC格式的xml文件了。该工具是基于Python语言编写的，这样就支持在Windows、Linux的跨平台运行，实在是良心之作啊。安装方式如下：
a. 下载源代码
通过访问labelImg的github页面（https://github.com/tzutalin/labelImg），下载源代码。可通过git进行clone，也可以直接下载成zip压缩格式的文件。

在本案例中直接下载成zip文件。
b.安装编译
解压labelImg的zip文件，得到LabelImg-master文件夹。
labelImg的界面是使用PyQt编写的，由于我们搭建的基础环境使用了最新版本的anaconda已经自带了PyQt5，在python3的环境下，只需再安装lxml即可，进入LabelImg-master目录进行编译"https://cloud.tencent.com/developer/news/325876",成功打开labelImg标注工具的界面如下.

2、标注数据
成功安装了标注工具后，现在就来开始标注数据了。
（1）创建文件夹
按照VOC数据集的要求，创建以下文件夹
Annotations：用于存放标注后的xml文件
ImageSets/Main：用于存放训练集、测试集、验收集的文件列表
JPEGImages：用于存放原始图像

（2）标注数据
将熊猫图片集放在JPEGImages文件夹里面（熊猫的美照请找度娘要哦~），注意图片的格式必须是jpg格式的。
打开labelImg标注工具，然后点击左侧的工具栏“Open Dir”按钮，选择刚才放熊猫的JPEGImages文件夹。这时，主界面将会自动加载第一张熊猫照片。

点击左侧工具栏的“Create RectBox”按钮，然后在主界面上点击拉个矩形框，将熊猫圈出来。圈定后，将会弹出一个对话框，用于输入标注物体的名称，输入panda作为熊猫的名称。

然后点击左侧工具栏的“Save”按钮，选择刚才创建的Annotations作为保存目录，系统将自动生成voc_2007格式的xml文件保存起来。这样就完成了一张熊猫照片的物体标注了。

接下来点击左侧工具栏的“Next Image”进入下一张图像，按照以上步骤，画框、输入名称、保存，如此反复，直到把所有照片都标注好，保存起来。

（3）划分训练集、测试集、验证集
完成所有熊猫照片的标注后，还要将数据集划分下训练集、测试集和验证集。
在github上下载一个自动划分的脚本（https://github.com/EddyGao/make_VOC2007/blob/master/make_main_txt.py）
然后执行以下代码。python make_main_txt.py

.将会按照脚本里面设置的比例，自动拆分训练集、测试集和验证集，将相应的文件名列表保存在里面.

、配置SSD
（1）下载SSD代码
由于本案例是基于tensorflow的，因此，在github上下载一个基于tensorflow的SSD，地址是 https://github.com/balancap/SSD-Tensorflow。以zip文件的方式下载下来，然后解压，得到SSD-Tensorflow-master文件夹。

（2）修改物体类别
由于是我们自定义的物体，因此，要修改SSD-Tensorflow-master中关于物体类别的定义，打开SSD-Tensorflow-master/datasets/pascalvoc_common.py文件，进行修改，将VOC_LABELS中的其它无关类别全部删掉，增加panda的名称、ID、类别，如下：

VOC_LABELS = {
    'none': (0, 'Background'),
'panda': (1, 'Animal'),
}

（3）转换文件格式
将voc_2007格式的文件转换为tfrecord格式，tfrecord数据文件tensorflow中的一种将图像数据和标签统一存储的二进制文件，能更加快速地在tensorflow中复制、移动、读取和存储等。
SSD-Tensorflow-master提供了转换格式的脚本，转换代码如下：新建文件夹panda_voc2007,panda_tfrecord.

python SSD-Tensorflow-master/tf_convert_data.py --dataset_name=pascalvoc --dataset_dir=$./panda_voc2007/--output_name=./panda_tfrecord/

4、下载预训练模型
SSD-Tensorflow提供了预训练好的模型，基于VGG模型。打开SSD-Tensorflow中的checkpoints文件下的模型文件解压得到ssd_300_vgg.ckpt.index和ssd_300_vgg.ckpt.data-00000-of-00001。在上级目录新建model_pre_train文件夹，将以上文件放入文件夹中。

5、训练模型
终于把标注文件、SSD模型都准备好了，现在准备开始来训练了。
在训练模型之前，有个参数要修改下，打开SSD-Tensorflow-master/train_ssd_network.py找到里面的DATA_FORMAT参数项，如果是使用cpu训练则值为NHWC，如果是使用gpu训练则值为NCHW，如下：

DATA_FORMAT = 'NCHW'  # gpu
# DATA_FORMAT = 'NHWC'    # cpu

现在终于可以开始来训练了,新建panda_model文件夹(存放生成的模型文件及log),，打开终端，切换conda虚拟环境

activate tensorflow

 python train_ssd_network.py --train_dir = ./panda_model/ --dataset_dir=./panda_tfrecords --dataset_name=pascalvoc_2012 --dataset_split_name=train --model_name=ssd_300_vgg --checkpoint_path=./model_pre_train/ssd_300_vgg.ckpt --save_summaries_secs=60 --save_interval_secs=600 --weight_decay=0.0005 --optimizer=adam --learning_rate=0.001 --batch_size=32

其中，根据自己电脑的性能情况，设置batch_size的值，值越大表示批量处理的数量越大，对机器性能的要求越高。如果电脑性能普通的，则可以设置为8，甚至4，土豪请忽略。
学习率learning_rate也可以根据实际情况调整，学习率越小则越精确，训练的时间也越长，学习率越大则可缩短训练时间，但就会降低精准度。

在这里使用预训练好的模型，SSD将会锁定VGG模型的一些参数进行训练，这样能在较短的时间内完成训练.

6、使用模型
SSD模型训练好了，现在要来使用了，使用的方式也很简单.新建test.py脚本，修改模型地址和测试图片地址。

# -*- coding:utf8 -*-
import os
import math
import random

import numpy as np
import tensorflow as tf
import cv2

slim = tf.contrib.slim
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import sys
sys.path.append('../')
from nets import ssd_vgg_300, ssd_common, np_methods
from preprocessing import ssd_vgg_preprocessing
from notebooks import visualization
# TensorFlow session: grow memory when needed. TF, DO NOT USE ALL MY GPU MEMORY!!!
gpu_options = tf.GPUOptions(allow_growth=True)
config = tf.ConfigProto(log_device_placement=False, gpu_options=gpu_options)
isess = tf.InteractiveSession(config=config)
# Input placeholder.
net_shape = (300, 300)
data_format = 'NHWC'
img_input = tf.placeholder(tf.uint8, shape=(None, None, 3))
# Evaluation pre-processing: resize to SSD net shape.
image_pre, labels_pre, bboxes_pre, bbox_img = ssd_vgg_preprocessing.preprocess_for_eval(
    img_input, None, None, net_shape, data_format, resize=ssd_vgg_preprocessing.Resize.WARP_RESIZE)
image_4d = tf.expand_dims(image_pre, 0)

# Define the SSD model.
reuse = True if 'ssd_net' in locals() else None
ssd_net = ssd_vgg_300.SSDNet()
with slim.arg_scope(ssd_net.arg_scope(data_format=data_format)):
    predictions, localisations, _, _ = ssd_net.net(image_4d, is_training=False, reuse=reuse)

# Restore SSD model.
ckpt_filename = './checkpoints/ssd_300_vgg.ckpt'
#ckpt_filename = 'E:/unity/imgelabletool/panda_model/model.ckpt-5422'
# ckpt_filename = '../checkpoints/VGG_VOC0712_SSD_300x300_ft_iter_120000.ckpt'
isess.run(tf.global_variables_initializer())
saver = tf.train.Saver()
saver.restore(isess, ckpt_filename)

# SSD default anchor boxes.
ssd_anchors = ssd_net.anchors(net_shape)

# Main image processing routine.
def process_image(img, select_threshold=0.5, nms_threshold=.45, net_shape=(300, 300)):
    # Run SSD network.
    rimg, rpredictions, rlocalisations, rbbox_img = isess.run([image_4d, predictions, localisations, bbox_img],
                                                              feed_dict={img_input: img})

    # Get classes and bboxes from the net outputs.
    rclasses, rscores, rbboxes = np_methods.ssd_bboxes_select(
        rpredictions, rlocalisations, ssd_anchors,
        select_threshold=select_threshold, img_shape=net_shape, num_classes=21, decode=True)

    rbboxes = np_methods.bboxes_clip(rbbox_img, rbboxes)
    rclasses, rscores, rbboxes = np_methods.bboxes_sort(rclasses, rscores, rbboxes, top_k=400)
    rclasses, rscores, rbboxes = np_methods.bboxes_nms(rclasses, rscores, rbboxes, nms_threshold=nms_threshold)
    # Resize bboxes to original image shape. Note: useless for Resize.WARP!
    rbboxes = np_methods.bboxes_resize(rbbox_img, rbboxes)
    return rclasses, rscores, rbboxes
# Test on some demo image and visualize output.

path = 'E:/unity/imgelabletool/demo/'
image_names = sorted(os.listdir(path))

img = mpimg.imread(path + image_names[0])//指定图片，0第一张，-1最后一张
rclasses, rscores, rbboxes =  process_image(img)

# visualization.bboxes_draw_on_img(img, rclasses, rscores, rbboxes, visualization.colors_plasma)
visualization.plt_bboxes(img, rclasses, rscores, rbboxes)