M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid

AAAI 2019——https://github.com/qijiezhao/M2Det

摘要

特征金字塔广泛用于单阶段检测器，如DSSD，RetinaNet，RefineDet和双阶段检测器中，如Mask R-CNN，DeTNet，以解决多尺度目标检测问题。但是一般的金字塔结构是为图像分类任务而设计的，或者说，目标检测和图像识别任务是存在冲突的，浅层特征往往对于目标检测任务是重要的，深层特征往往是具有强语义的最具判别力的特征，但是最具判别力的特征不一定能包含整个物体的全部位置信息。M2Det提出Multi-Level Feature Pyramid Network(MLFPN)，首选将来自骨架网络的多层特征融合，其次，将融合特征送入交替联合的Thinned U-shape Modules（细化U形模块，TUM）和Feature Fusion Modules（特征融合模块，FFM），最后，将具有相同尺度的特征层（解码器）聚合在一起以构建用于对象检测的特征金字塔。将MLFPN嵌入到SSD框架中，得到M2Det，在COCO数据集上得到41.0的AP，多尺度测试得到44.2的AP。

介绍

为了解决对象检测中多尺度的问题，提出了多种特征金字塔结构，如下图：

特征金字塔

SSD分别在骨架网络中的两层和额外四层（分辨率降低一半）特征图上进行预测；STDN使用DenseNet最后一个dense block来构建特征金字塔，包含池化和尺度变换操作；FPN以自上而下的方式将高层和低层特征融合得到特征金字塔。以上结构有两个局限性：1、金字塔中的特征都来自于为图像分类任务设计的骨架网络，对于对象检测任务不够有代表性，2、金字塔中的每层特征（用于检测）主要或者仅仅由骨架网络中的单层构成，也就是说，主要包含单层信息。高层特征对于分类子任务更具有判别力，低层特征对于目标位置回归子任务更有帮助。此外，低层特征更适合用于检测具有简单外观的对象，高层特征适合用于检测具有复杂外观的对象，而实际上，具有相同尺寸的对象在外观上可能差异极大，因此，用于检测的特征金字塔只包含单层信息可能导致性能不佳。

M2Det

网络模型

MLFPN主要包含三个模块，特征融合模块FFM，细化U形模块，基于尺度的特征聚合模块（Scale-wise Feature Aggregation Module），FFMv1通过将骨架网络提取的特征融合来增强语义信息，每个TUM生成一组多尺度特征，然后将TUM和FFMv2交替组合来提取多尺度特征。另外，SFAM通过基于尺度的特征连接（concatenation）和自适应注意力机制将不同层次的特征聚合成为用于检测的特征金字塔。

FFMv1将VGG16中的conv4_3和conv5_3层特征融合，得到基础特征，以此来提供多层语义信息。FFMv2将基础特征和上一个TUM模块的最后一层特征融合，然后将融合之后的特征送入下一个TUM模块，注意到第一个TUM模块没有先验信息，只从基础特征中学习。输出的多尺度特征可以表示为：

输出特征

其中表示基础特征，表示第个TUM中的第个尺度的特征，代表TUM模块的数量。表示第个TUM操作，代表FFMv1操作。

FFM用1*1卷积降通道，然后用concat来融合特征图，FFMv1是将骨干网络中不同分辨率的特征图进行融合，因此进行了上采样的操作。

FFMv1

FFMv2

TUM如下图，采用U形结构，编码器是一系列步长为2的3*3卷积，解码器将这些层的输出作为输入，而FPN只是利用ResNet中残差块的最后一层特征图。在上采样和按元素相加之后接1*1卷积来增强学习能力和平滑特征图。每个TUM的解码器中的所有输出形成当前级别的多尺度特征。

TUM

SFAM将TUM产生的多层次的特征图聚合为特征金字塔，第一阶段是将同一分辨率的特征Concat（通道叠加），Concat之后的特征为：，其中，第二阶段，引入通道注意力（SE block）。

SFAM

M2Det包含VGG16和ResNet两种骨架网络，每个MLFPN有8个TUM，每个TUM包含5个下采样卷积核5个上采样操作，所以将产生6中不同尺度的特征图。输入图像大小为320,512,800。

在检测阶段，在6层特征金字塔后面接两个卷积层来进行位置回归和分类，六个特征图的默认框的检测范围遵循原始SSD的设置。在特征图的每个点，设置三种不同比例总共六个锚点框。之后，使用0.05的概率分数作为阈值来过滤掉分数较低的大多数锚点。使用soft-NMS作为后处理过程。

Experiments

COCO数据集上的性能比较

速度精度图