python ssd目标检测_目标检测——SSD简介及代码注释(附github代码——已跑通)...

python ssd目标检测_目标检测——SSD简介及代码注释(附github代码——已跑通)..._第1张图片

GitHub:

liuyuemaicha/ssd.pytorch​github.com
python ssd目标检测_目标检测——SSD简介及代码注释(附github代码——已跑通)..._第2张图片

Python 2.7 Pytorch:0.3.1或0.4.1

注:该代码fork自https://github.com/amdegroot/ssd.pytorch,该代码相比master分支,主要改动有:

  1. 修改了原代码中发现的bug,如:multibox_loss 中loss_c[pos] = 0并不能直接索引,pos和loss_c的shape不同;此外在训练时loss值容易出现inf情况,也需要修改。
  2. 去掉了一些可视化辅助插件,便于直接运行。
  3. 将Python环境从3.0改为2.7
  4. 对代码做了大量的中文注释
  5. 去除了COCO数据集读取对pycocotools的依赖

在objects detection算法中,大概可以分为两大方向:One-stage和Two-stage。SSD算法属于One-Stage的一种。

关于One-Stage的另一种算法YOLO V3可转:KevinCK:目标检测——YOLO V3简介及代码注释(附github代码——已跑通)

关于Two-Stage的Faster-RCNN的简介和代码,可以转:KevinCK:目标检测——Faster RCNN简介与代码注释(附github代码——已跑通)

SSD目标检测简介

SSD(Single Shot MultiBox Detector)从名字中可以看到SSD的两个特征,一是SSD属于One-Stage(Single Shot),二是SSD使用多特征图用于检测(MultiBox)。除此之外,SSD发布于Faster-RCNN之后,所以也借鉴了Faster-RCNN重的anchor思想,这里称之为Prior Boxes(感觉这个名字比anchors要更好通俗易懂)。

SSD的模型框架主要由三部分构成:以SSD300为例,有VGG-Base,Extra-Layers和Pred-Layers。VGG-Base作为基础架构用来提取图像的feature;Extra-layers对VGG的feature做进一步处理,增加模型对图像的感受野,使extra-layers得到的特征图承载更多抽象信息。待预测的特征图由6种特征图组成,这6种特征图最终通过Pred-Layers(loc-layer 和conf-layer)来得到预测框的坐标信息(loc-layer),置信度信息(conf-layer)和类别信息(conf-layer)。

6种特征图说明:

  • 两个来自VGG部分(38, 19),其特点是特征图尺寸大,意味着丢失信息少,可以识别较小目标;处理层数浅,感受野小,意味着抽象信息少,准确度不高。
  • 四个来自Extra部分(10, 5, 3, 1),其特点与VGG部分相反,这也是Extra的意义所在——弥补VGG部分的不足。

代码模型图(模型为SSD300,数据集为VOC(类别+置信度=21)为例)如下:

python ssd目标检测_目标检测——SSD简介及代码注释(附github代码——已跑通)..._第3张图片
SSD300代码模型图

从上图可以看到六个特征图的尺寸:[38, 19, 10, 5, 3, 1],在Predict Layers中可以看到每个特征图中的每个像素点对应的先验框个数为:[4, 6, 6, 6, 4, 4] 。

模型计算流程:

  • 模型通过Base部分得到两个特征图(1, 512, 38, 38)和(1, 1024, 19, 19)
  • 通过extra部分得到四个特征图(1, 512, 10, 10),(1, 256, 5, 5),(1, 256, 3, 3)和(1, 256, 1, 1)
  • 这6个特征图再通过loc_layers和conf_layers分别得到坐标和置信度:
(1, 512, 38, 38) =》 (1, 4*4, 38, 38) 和 (1, 4*21, 38, 38)
(1, 1024, 19, 19) =》 (1, 6*4, 19, 19) 和 (1, 6*21, 19, 19)
(1, 512, 10, 10) =》 (1, 6*4, 10, 10) 和 (1, 6*21, 10, 10)
(1, 256, 5, 5) =》 (1, 6*4, 5, 5) 和 (1, 6*21, 5, 5)
(1, 256, 3, 3) =》 (1, 4*4, 3, 3) 和 (1, 4*21, 3, 3)
(1, 256, 1, 1) =》 (1, 4*4, 1, 1) 和 (1, 4*21, 1, 1)
  • 最终得到所有预测框的loc:(1, 8732, 4)和conf:(1, 8732, 21)
  • 输出有预测框的loc_p:(1, 8732, 4),con_p:(1, 8732, 21)和先验框anchors:(8732, 4)
  • 根据上步输出的先验框anchors和训练数据的标签信息(坐标和类别),得到先验框转为真实坐标的偏移系数(loc_t)和先验框的置信度/类别(conf_t)
计算目标实体框与先验框anchors的IOU shape: [box_a.size(0), box_b.size(0)] => [num_objs, 8732]
获取每个目标实体框对应的最优先验框anchor shape: [1, num_objs]
获取每个先验框对应的最优目标实体框truth shape: [1, 8732]
IOU值的范围是[0, 1],为了突出针对ground_truth的最优anchors,将最优anchors的IOU值设置为2
每个先验框anchor对应目标ground_truth的真实坐标 Shape: [8732, 4]
每个先验框anchor对应目标ground_truth的类别标签 Shape: [8732](每个先验框的值对应一个类别)
把IOU小于阈值的设置为非置信先验框
根据ground_truth坐标信息和先验框坐标信息,得到先验框坐标转为ground_truth坐标的偏移系数(offsets)
  • 根据以上得到的loc_p(置信先验框转为ground_truth预测的偏移系数),loc_t(置信先验框转为ground_truth真实的偏移系数)计算偏移系数损失
  • 根据以上得到的con_p(预测先验框的置信度和类别),conf_t(真实先验框的置信度和类别)计算类别损失。

更加详细介绍见GitHub代码

参考:

小小将:目标检测|SSD原理与实现

小纸屑:SSD物体检测算法详解

你可能感兴趣的:(python,ssd目标检测)