目标检测—SSD系列算法原理介绍
一、SSD系列算法原理介绍
1.1 SSD算法介绍:
➢Single Shot MultiBox Detector (one-stage方法)
●Wei Liu在ECCV 201 6提出
●直接回归目标类别和位置
●不同尺度的特征图上进行预测
●口端到端的训练
●图像的分辨率比较低，也能保证检测的精度
1.2 SSD系列算法原理介绍
●主干网络: VGGNet
●多尺度Feature Map预测
●Default bounding boxes的类别分数、偏移量
➢主干网络介绍:
●VGG、 ResNet、 MobileNets等 ，各种卷积神经网
●将VGG最后两个FC改成卷积，并增加4个卷积层.
➢多尺度FeatureMap预测:
●不同层的feature map
●Prior box :类别概率和坐标(x,y,w,h)
1.3 算法细节介绍
●Prior Box Layer:
➢m*n个cell
➢每个cell. 上生成固定scale和aspect ratio的box
●假设- 个feature Map有mxn个cell,每个cell对应k 个default box,每个default box预测c个类别score和4个offset
●(C+4) *k * m*n个输出
●Prior Box Layer 步骤:
●Prior Box Layer特点:
➢shape数量越多，效果越好
➢Anchor
➢38*38*4 + 19*19*6 + 10*10*6 + 5*5*6 + 3*3*4+1*1*4= 8732个prior box
●Prior Box Layer实现 :
➢每一个feature map cell 不是k个default box都取
➢prior box与GT box做匹配, IOU>阈值为正样本
➢训练:确保prior box的分类准确且尽可能回归到GT box
●样本构造:
➢正样本
从GT box出发给找到最匹配的prior box放入候选正样本集
从prior box集出发，寻找与GT box;满足lOU> 0.5的最大prior，box放入候选正样本集
➢负样本
难例挖掘
正负样本比: 1:3
●难例挖掘流程
●数据增强:
➢随机采样多个path,与物体之间最小的jaccard overlap为: 0.1，0.3, 0.5， 0.7与0.9
➢采样的patch比例是[0.3, 1.0], aspect ratio在0.5或2
➢GT box中心在采样patch中且面积大于0
➢Resize到固定大小
➢以0.5 的概率随机的水平翻转
●损失函数:
➢分类loss +回归loss
➢分类loss: Softmax Loss
➢回归loss: Smooth L1 Loss
SSD系列网络结构
SSD系列算法损失函数计算
基本思路:
让每一个prior box回归到GT box，这个过程的调控我们需要损失层的帮助，它会计算真实值和预测值之间的误差，从而指导学习的走向
●使用细节:
➢数据增强时，Crop采样大小
➢多任务网络的权重
➢正负样本比例
➢难例挖掘方式默认只取64个最高predictions loss来从中寻找负样本
SSD系列算法性能比较分析
在PASCAL VOC2007 数据集对比结果：
Table 1: PASCAL VOC2007 test detection results. Both Fast and Faster R-CNN
use input images whose minimum dimension is 600. The two SSD models have exactly the same settings except that they have different input sizes (300 X 300 vs.500 X 500).It is obvious that larger input size leads to better results.
在PASCAL VOC2012数据集上的对比结果：
在MS COCO数据集上的对比结果：
对SSD算法而言其整体的FPS 相对YOLO来说，有所降低，速度有所损失；相比与Fast R-CNN而言SSD算法有了一个性能上的提升，mAP值也有所提升。
●数据增强对于结果的提升非常明显
●使用更多的feature maps对结果提升更大
●使用更多的default boxes,结果也越好
●Atrous 使得SSD又好又快
如果输入图像的尺寸越大对应SSD算法性能也会有一个比较大的提升，而输入图像的尺寸增大也意味着处理速度地下降。
SSD系列算法效果
二、SSD系列算法优化及扩展
2.1 优化算法一——DSSD
●DSSD:
➢201 7年的CVPR，WeiLiu
➢SSD算法对小 目标不够鲁棒的最主要的原因是浅层feature map的表征能力不够强。
加入上下文信息
更好的基础网络(ResNet) 和Deconvolution层， skip连接来给浅层feature map更好的表征能力
DSSD改进点:
➢主干网络：ResNet
➢Deconv
使用RestNet作为主干网络，针对后续的prior box的输入会分别使用反卷积来获取更多的特征表示，再进行回归后会得到更加鲁棒的特征。
DSSD VS SSD:
●DSOD总结:
➢2017年的ICCV201 7
➢DSOD可以从0开始训练数据， 不需要预训练模型，而且效果可以和fine-tune的模型媲美
➢SSD+ DenseNet= DSOD
可以从零开始训练得到一个好的目标检测网络吗?
如果可以，设计这样的网络有没有什么原则可以遵守?
预训练模型优点:
开源模型多，可以直接将他们用于目标检测
可以快速得到最终的模型，需要的训练数据也相对较少
预训练模型缺点:
预训练模型大，参数太多，模型结构灵活性差,难以改变网络结构，计算量也大，限制其应用场合
分类和检测任务的损失函数和类别分布是不一-样的，优化空间存在差异
尽管微调可以减少不同目标类别分布的差异性,但是差异太大时，微调效果依然不理想
●DSOD设计原则:
➢基于候选区域提取的方法无法从零开始训练，不收敛,只有proposal-free方法可以从零开始训练并收敛(ROI Pooling)
➢DenseNet中更多的skip connections实现supervised signals传递.
➢增加dense blocks数量区别原先的固定数量
➢Stem Block优化(3个3x 3卷积层和1个2x2最大池化层)
➢6个尺度特征图进行目标检测，再融合(如何利用特征图)
DSOD网络结构：
2.2 优化算法二——FSSD
●FSSD设计原则:
➢借鉴了FPN的思想，重构了- -组pyramid feature map,使得算法的精度有了明显的提升,速度也没有太降
把网络中某些feature调整为同一-szie再contact,得到一-个像素层，以此层为base layer来生成pyramid feature map
Feature Fusion Module
FSSD网络结构:
SSD:
FSDD:
FSSD实验结果对比:
2.3 优化算法三——RSSD
●RSSD设计原则:
➢rainbow concatenation方式(pooling加deconvolution) 融合不同层的特征，在增加不同层之间feature map关系的同时也增加了不同层的feature map个数。
➢这种融合方式不仅解决了传统SSD算法存在的重复框问题，同时一定程度上解决了'small object的检测问题。
RSSD网络结构:
RSSD实验效果: Pooling、deconvolution
SSD系列算法应用场景
●人脸检测与识别任务
●ADAS场景目标检测与识别(车、行人、非机动车)
●通用物体检测与识别
●自然场景下文本检测与识别等等