深度学习论文笔记：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

Abstract

• 现有的深卷积神经网络（CNN）需要固定尺寸（例如，224×224）的输入图像。
• 新的网络结构，称为SPP-net，可以生成固定长度的表示，而不管图像大小/规模。
• 使用SPP-net，我们从整个图像只计算一次特征图，然后在任意区域（子图像）中池特征以生成固定长度表示以训练检测器。

INTRODUCTION

• 在CNN的训练和测试中存在技术问题：普遍的CNN需要固定的输入图像大小（例如，224×224），其限制了输入图像的宽高比和比例。
• Cropping
• Warping->unwanted geometric distortion(不需要的几何失真)

• 那么为什么CNN需要固定输入大小？

  • CNN主要由两部分组成：卷积层和跟随的完全连接的层。
  • 事实上，卷积层不需要固定的图像大小，并且可以生成任何大小的特征图
  • 另一方面，根据定义：完全连接的层需要具有固定尺寸/长度输入。所以固定尺寸完全来自于 全连接层

• 我们提出了一个spatial pyramid pooling（空间金字塔池化层）来去掉额昂罗固定输入的约束。

• 具体来说，我们在最后一个卷积层的顶部添加一个SPP层。 SPP层汇集特征并产生固定长度的输出，然后馈送到完全连接的层（或其他分类器）。

• SPP对于深度CNN有着一些显著的特性：

  • 1）SPP能够生成固定长度的输出，而不管输入大小，而在以前的深度网络[3]中使用的滑动窗口池不能;
  • 2）SPP使用多级空间仓，而滑动窗口池仅使用单个窗口大小。 多层池化已被证明对于对象变形是鲁棒的[15];
  • 3）由于输入尺度的灵活性，SPP可以在可变尺度上提取的特征。

• 实验表明，这种多尺寸训练与传统的单尺寸训练一样收敛，并导致更好的测试精度。

• SPP的优点是与特定的CNN设计是正交的。

• Caltech101: L. Fei-Fei, R. Fergus, and P. Perona, “Learning generative visual models from few training examples: An incremental bayesian approach tested on 101 object categories,” CVIU, 2007.

• VOC 2007: M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman, “The PASCAL Visual Object Classes Challenge 2007 (VOC2007) Results,” 2007.

• 但是R-CNN中的特征计算是耗时的，因为它对每个图像的数千个wraped区域的原始像素重复应用深卷积网络。而本文提出的方法可以在一整张图像上只跑一次卷积层

DEEP NETWORKS WITH SPATIAL PYRAMID POOLING

• 输入图像中的这些形状激活在相应位置的feature map

The Spatial Pyramid Pooling Layer

• Bag-of-Words (BoW) approach->用来将生成的特征进行pool从而产生固定长度的向量。
• 空间金字塔池提高BoW，因为它可以通过在局部空间仓中汇集来 维护空间信息 。

• “global pooling” operation

  • a global average pooling
  • a global average pooling

Training the Network

• Single-size training
• Multi-size training

SPP-NET FOR IMAGE CLASSIFICATION

SPP-NET FOR OBJECT DETECTION

• 对于R-CNN来说，Feature extraction is the major timing bottleneck in testing.
• 对于我们的SPP-net来说，我们从一整张图片中值提取一次特征。
• On the contrary, our method enables feature extraction in arbitrary windows from the deep convolutional feature maps.

Detection Algorithm