论文笔记 SSD: Single Shot MultiBox Detector

话不多说开始总结，作为新一个快速高效的目标检测算法，SSD结合了Faster RCNN和YOLO 算法。

本文主要提出的贡献有以下几点：

（1）提出SSD算法，比YOLO算法更加迅速，同时和速度较慢的运行region proposal与pooling的算法的精度一样好（包括faster R-CNN）
（2）SSD算法的核心是通过使用在特征图上的小卷积滤波器，来预测类别置信度和一系列有误差的bounding box的box补偿
（3）为了提高检测精度，我们在不同尺度的feature map上进行不同尺度的预测，通过纵横比进行准确的预测值分割
（4）整体上，这些设计的特征获得了简单的end-to-end的训练，并获得了高精度，甚至在输入影像分辨率较低的情况下，依然可以进行速度与精度的同时平衡
（5）实验主要对于在PASCAL VOC, MS COCO, ILSVRC数据上，对于其他方法进行了时间上和精度上的对比。

模型

下面即为SSD与YOLO算法的模型对比图：

SSD方法主要基于一个前馈的卷积神经网络，来产生bounding box集合和box上的不同类的分数，紧接着进行非极大值抑制，完成最终的检测过程。开始的网络层主要是基于高质量影像分类的标准结构的缩短版，作为基础网络，然后添加以下几个辅助结构到网络里：

（1）用于检测的多尺度特征图

在缩短版的基础网络后添加卷积特征层，这些层根据尺度要求进行逐渐减少，确保预测的检测结果多尺度。和OverFeat和YOLO的单一尺度特征图相比，是有较大不同的

（2）用于检测的卷积预测算子

每一个添加的特征层，通过卷积一系列滤波器，可以产生一系列检测的预测结果，
对于一个m*n的p个通道的特征层，候选检测结果的预测参数是3*3*p个小核。对于每一个m*n位置处对kernel进行应用，同时产生一个输出值。bounding box补偿的输出值和每一个feature map位置上的box位置补偿值对比，这里不同于YOLO方法使用的全连接层，而使用卷积滤波

（3）错误的box与纵横比

我们将每一个错误的bounding box和每一个特征图单元进行联系，作为网络顶层的多重特征图。错误box在卷积层中拼接整个特征图，这样使得每一个box的位置对应于一个cell。对于每一个特征图cell，我们预测该cell对应的box的形状补偿和box存在每一种类别的置信度。对于一个给定位置上的box，我们计算c 个类别分数和4个相对于box形状的补偿值。因此对于feature map上的任意一个位置，滤波器有（c+4）*k个，对于m*n的特征图，一共输出（c+4）*k*m*n个值。

其SSD框架如下图：

训练细节

SSD和其他方法的主要不同在于，ground truth信息需要分配给特定的检测器输出结果。loss函数和反向传播采用end-to-end方法。训练也同样涉及选择失误box，检测尺度问题，hard negative mining和数据的增加策略。

（1）Matching strategy

训练时候需要建立ground truth和default box之间的对应关系，主要采用best jaccard overlap。这种方法开始用于MultiBox方法，并确保每一个ground truth box对应一个default box。本方法主要讲default box和所有ground truth对比匹配，只要高于阈值（0.5）的即保留，不限制原先的只有一个对应的限制

（2）Training objective

loss函数集合了定位和分数的loss，表达式如下：

（3）Choosing scales and aspect ratios for default boxes

大部分的卷积网络减少了深层时候的特征图尺度，为了减少内存和加快速度。于是对于不同目标尺度，SSD方法主要学习特定特征图在图像特定区域和目标的尺度，添加专门的部分进行尺度问题的解决。对于每层特征图上的尺度的default box计算表达式如下：

这样，可以通过设计default box的分布在最好地适应特定的数据集。如开始的框架图中，狗狗的匹配default box在4*4的特征图上，而不在8*8上，这是因为其大小尺度的特定性决定

（4）Hard negative mining

（5）Data augmentation

实验

实验产生了非常好的结果，这里做部分展示：