【目标检测七】FPN-从原理到模型的训练与测试

             FPN：原理 => 模型搭建 => 训练 => 测试

目录

             FPN：原理+模型搭建+训练自己的数据+测试

原理简介

【FPN】

【创新点】

【动机】

【有效性分析】

模型搭建

1.环境搭建

2.下载源代码

3.跑一下Demo测试一下模型

训练自己的数据

1.数据准备

3.跑起来

测试自己的数据

1.参数设置

2.验证测试

---

FPN论文名：feature pyramid networks for object detection

论文下载：https://arxiv.org/abs/1612.03144

作者：Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie

代码：https://github.com/yangxue0827/FPN_Tensorflow

-------------------------------

原理简介

-------------------------------

【FPN】

特征金字塔网络，是众多卷积神经网络结构中的一种。

【创新点】

特征的构建和对特征的应用呈现出一种金字塔状的多尺度方式。这里的多尺度有两个层次，一个是特征的多尺度：构建了不同分辨率的融合特征；另一个是多尺度是应用的多尺度，在多个不同尺度的特征上分别做分类和回归。

【动机】

1.针对深度网络中语义不能兼顾的问题，设计一种能够兼顾底层和高层特征的卷积神经网络结构

2.附带针对：小目标。

【有效性分析】

1.特征融合是一个被证明有效的，通过增加计算量来提高模型性能的方式，FPN提供的，是一种更充分的特征融合，因为每一种分辨率的特征，都被用于融合，而融合结果也不是局限于单一的一个特征，而是同样融合出多种分辨率的特征，并且融合的特征之间还有递进关系，更后面的特征融合将会用到前面的融合特征。在这么一个不同层之间构建了丰富的信息交互，保证了从头到尾有效信息的传播。

2.关于小目标的检测，是其主打卖点。有用的原因主要有三个，第一个是更充分的利用了底层特征，而小目标正是因为小，所以在底层的信息才是最多的，所以对于小目标的特征是被优化了的。第二，就是在不同尺度的特征上都做预测，本质就是加大了搜索粒度，因为每个尺度的Feature上都会产生anchor，那么三个尺度的特征上都做预测，本质上，anchor boxes会更多更充分更准确的包含到小目标，也就是能更好的将小目标检索出来。第三，是原因1和原因2的共同作用，特征优化了，搜索更细了，这才是效果直接提升的必要因素，也就是我能框出更多的框，并且小框的特征还更有效。

3.模型结构：这些其他博客都很多了，不必赘述。

4.关于FPN和Faster R-CNN等模型的关系。其实FPN不是一个单独的网络，其提出的是一种主干网络以及对应该主干网络的一种检测方式。也就相当于把Faster R-CNN中的Backbone从ResNet-101的连接结构变成FPN结构，然后将Faster R-CNN的RPN输入从原来的最后一个特征层变为多个特征层（不同尺度的融合特征），也可以理解为将RPN复制多次。所以大家看源代码的时候，就当成Faster R-CNN的一种改进看就可以了。其他部分都一样的。

-------------------------------

模型搭建

-------------------------------

1.环境搭建

ubuntu + python2 + tensorflow1.2 + cv2 + cuda8.0 （+ GeForce GTX 1080）

作者将自己的环境用Docker打包了一份，So，
You can also use docker environment, command:

docker pull yangxue2docker/tensorflow3_gpu_cv2_sshd:v1.0

2.下载源代码

git clone https://github.com/yangxue0827/FPN_Tensorflow.git   

3.跑一下Demo测试一下模型

1、解压基于res101训练好的demo模型：

  文件在 FPN根目录/output/res101_trained_weights/（一个飞机检测的模型）

2、在测试图像文件夹里面丢一些包含目标（飞机）的图片。本身就有几张，故可不放。

      文件夹为：FPN根目录/tools/inference_image

3、修改模型的绝对路径。因为内部的调用都需要基于一个路径，这里作者集成到配置文件cfgs.py中了。在里面直接改就行，然后其他的路径就都会根据这个来。

在这里面修改：FPN根目录/libs/configs/cfgs.py 

# 找到这一句，将后面的路径改为自己FPN的文件夹位置
ROOT_PATH = os.path.abspath(r'C:\Users\yangxue\Documents\GitHub\FPN_Tensorflow')

4、运行代码测试:

这里作者提供两种代码，一种是用于跑小图片的（作者所用数据集中的.jpg为小分辨率图像），一种是用于跑大图的，.tif结尾的是分辨率大的大图。

###跑小图

cd FPN根目录/tools
python inference.py   

（注：大图小图都可以跑，大图就用最小边压缩了一下）

###跑大图

cd FPN根目录/tools
python demo.py --src_folder=.\demo_src --des_folder=.\demo_des 


（注：这个demo只处理.tif结尾的大图，src_folder和des_folder后面修改为测试图片和保存测试结果的文件夹位置。）   

一般就用第一个就行了。后面那个也就相当换了一种方式处理格式问题，然后还是用最小边缩小大图。

【测试结果】

到此，模型搭建完成，测试通过。

-------------------------------

训练自己的数据

-------------------------------

1.数据准备

将自己的PASCAL_VOC数据集拆分为训练集、测试集合。适用/data/io/divide_data.py

具体的拆分比例，调节divide_data.py中的divide_rate = 0.8。

python /data/io/divide_data.py

在根目录下，将会生成两个文件夹：VOCdevkit_train 和 VOCdevkit_test

下一步，需要分别将训练和测试数据转换成 TFrecord 格式。该格式是TensorFlow的高效存储格式，连续的内存二进制存储能够有效的加快数据的读取和写入。而像原始文件夹那样每个数据独立存储。

转换的代码为 /data/io/convert_data_to_tfrecord.py

python convert_data_to_tfrecord.py --VOC_dir='***/VOCdevkit/VOCdevkit_train/' --save_name='train' --img_format='.jpg' --dataset='ship'

在使用的时候，训练和测试数据分别使用。.py后面的参数需要根据自己的路径和数据集进行修改。参数说明如下：

# 上一步训练、测试数据分离后的文件夹路径。
--VOC_dir='你的FPN路径/VOCdevkit/VOCdevkit_train/' 
#tfrecord名字。训练数据用'train' ,测试数据用'test'
--save_name='train' 
#你的图片格式。有Png\tif\jpeg
--img_format='.jpg' 
#你的数据集名字。这个需要在/libs/label_name_dict/label_dict.py中添加自己的数据集
--dataset='mydataset'

上面的参数前三个都Ok,第四个需要添加自己数据集的类别字典，所以你无法直接运行上面的代码。需要修改以下：

在/libs/label_name_dict/label_dict.py中添加自己的数据集标签类别。具体如下：

# -*- coding: utf-8 -*-
from __future__ import division, print_function, absolute_import

from libs.configs import cfgs

if cfgs.DATASET_NAME == 'ship':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        "ship": 1
    }
##########################
###插入以下：--dataset='mydataset'中的名字一致就是调用到这个字典的。
别人我为什么需要自己数据集训练数据类别的字典- -
因为字典不同训练的模型后面的softmax层大小不一样。2类就2个。
4类的话softmax就有4个节点。这个需要训练师自己确认。
（而不是因为无法从你的dataset自动的统计你的类别名字及其数量。）
##########################
elif cfgs.DATASET_NAME == 'mydataset':#这个名字就是你数据集类别字典的名字了。
    NAME_LABEL_MAP = {
        'back_ground': 0,
        "你的类1": 1
        "你的类2": 2
        "你的类3": 3
......
    }

##########################
###实际上和下面的格式都一样。
##########################
elif cfgs.DATASET_NAME == 'SSDD':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        "ship": 1
    }
elif cfgs.DATASET_NAME == 'airplane':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        "airplane": 1
    }
elif cfgs.DATASET_NAME == 'nwpu':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'airplane': 1,
        'ship': 2,
        'storage tank': 3,
        'baseball diamond': 4,
        'tennis court': 5,
        'basketball court': 6,
        'ground track field': 7,
        'harbor': 8,
        'bridge': 9,
        'vehicle': 10,
    }

....
.....
......
.......

然后就可以运行convert_data_to_tfrecord.py了。别忘了填上四个参数。

python convert_data_to_tfrecord.py --VOC_dir='***/VOCdevkit/VOCdevkit_train/' --save_name='train' --img_format='.jpg' --dataset='ship'

运行结果就是得到训练、测试数据的tfrecord格式数据，在 /data/tfrecords/ 里面。你可以自己检查一下。

2.参数设置

数据准备好了，那么训练就要调参和调一些路径啦。打开/libs/configs/cfgs.py，按我的注释来。

对应里面的model，应先下载好预训练模型，放在 /data/pretrained_weights/ 中。

预训练模型的下载地址：

 Res101: http://download.tensorflow.org/models/resnet_v1_101_2016_08_28.tar.gz

Res50: http://download.tensorflow.org/models/resnet_v1_50_2016_08_28.tar.gz

# -*- coding: utf-8 -*-
from __future__ import division, print_function, absolute_import
import os

#####
初始化设置
#####

# 你的FPN目录地址
ROOT_PATH = os.path.abspath(r'C:\Users\yangxue\Documents\GitHub\FPN_Tensorflow')

# pretrain weights path
#测试结果保存路径，上面我们已经测试过了 不用改。
TEST_SAVE_PATH = ROOT_PATH + '/tools/test_result'
INFERENCE_IMAGE_PATH = ROOT_PATH + '/tools/inference_image'
INFERENCE_SAVE_PATH = ROOT_PATH + '/tools/inference_result'
#使用的model。
NET_NAME = 'resnet_v1_101'
#你的本次训练项目名字。每当重新训练一次，最好在后面加一个01\02区别。名字重复了就会训乱。按这个名字会有output里面生成对应名字的文件夹，保存训练的Net
VERSION = 'v1_mydataset'
#你的类别数，是几类就写几。
CLASS_NUM = 1




BASE_ANCHOR_SIZE_LIST = [15, 25, 40, 60, 80]
LEVEL = ['P2', 'P3', 'P4', 'P5', "P6"]
STRIDE = [4, 8, 16, 32, 64]
ANCHOR_SCALES = [1.]
ANCHOR_RATIOS = [1, 0.5, 2, 1 / 3., 3., 1.5, 1 / 1.5]
SCALE_FACTORS = [10., 10., 5., 5.]
OUTPUT_STRIDE = 16
SHORT_SIDE_LEN = 600
####改成自己数据集字典的名字
DATASET_NAME = 'mydataset'
####
BATCH_SIZE = 1
WEIGHT_DECAY = {'resnet_v1_50': 0.0001, 'resnet_v1_101': 0.0001}
EPSILON = 1e-5
MOMENTUM = 0.9
MAX_ITERATION = 50000
GPU_GROUP = "1"
LR = 0.001

# rpn
SHARE_HEAD = True
RPN_NMS_IOU_THRESHOLD = 0.5
MAX_PROPOSAL_NUM = 2000
RPN_IOU_POSITIVE_THRESHOLD = 0.5
RPN_IOU_NEGATIVE_THRESHOLD = 0.2
RPN_MINIBATCH_SIZE = 512
RPN_POSITIVE_RATE = 0.5
IS_FILTER_OUTSIDE_BOXES = True
RPN_TOP_K_NMS = 12000

# fast rcnn
ROI_SIZE = 14
ROI_POOL_KERNEL_SIZE = 2
USE_DROPOUT = False
KEEP_PROB = 0.5
FAST_RCNN_NMS_IOU_THRESHOLD = 0.2
FAST_RCNN_NMS_MAX_BOXES_PER_CLASS = 100
FINAL_SCORE_THRESHOLD = 0.5
FAST_RCNN_IOU_POSITIVE_THRESHOLD = 0.45
FAST_RCNN_MINIBATCH_SIZE = 256
FAST_RCNN_POSITIVE_RATE = 0.5

 

3.跑起来

在根目录下打开终端。运行以下：

python /tools/train.py 

等着训练完成吧。

-------------------------------

测试自己的数据

-------------------------------

1.参数设置

测试实际上包括指标验证和保存测试结果。如果只是像将测试集跑一边然后将结果保存下来，就用/tools/test.py

如果是想验证，就用/tools/eval.py

在test.py或eval.py里面有对应的测试参数可以改，比如正样本阈值等。

2.验证测试

运行代码。

python /tools/test.py
或者
python /tools/eval.py

运行test.py的话你会在./tools/test_result里获得测试集的图片检测结果。

运行eval.py则得到 AP、Recall 和mAP。

以上。

------------------------

作者优化的FPN版本：https://github.com/DetectionTeamUCAS/FPN_Tensorflow

作者给出了一个优化版本。因为原来的版本在训练的过程中因为summary的可视化原因，会终止训练。

比如tensorboard显示proposals图像结果的时候，画了超出图像的框等。就会终止训练。如果不想换模型，把对应的地方注释掉就可以，一般大家可能也用不到tensorboard。另一个就是使用方面的优化。优化版的代码用eval.py就可以直接获取指标验证结果以及测试结果，只需要调节一个参数。

以上是我使用时发现的主要两点感受。

两个使用方法大同，不赘述。

------------------------