目标检测: SPPNet

原文链接:https://arxiv.org/abs/1406.4729

按照发展的时间线走,在正式进行 fast R-CNN 等工作的介绍之前,还是简单概括一下 SPPNet 吧,毕竟也是 KaiMing 大神的作品。

文章要点

解决带有全连接层的 CNN 只能固定输出图片尺寸的问题。而解决的方式就是使用空间金字塔池化(Spatial Pyramid Pooling,SPP)的操作,在需要固定输入维度的全连接层前面加入 SPP 层,由此构建 SPPNet。

问题铺垫

.

目标检测: SPPNet_第1张图片

因为当前的神经网络都是需要固定的输入图像尺寸,224x224 等,一般都是使用直接裁剪(crop)或者 wrap 的方式,但是 crop 可能只截取图像的一部分,wrap 存在形变,各有各的缺点,这样均有可能损失准确率,而且在某些目标尺度多样的课题上采用固定的输入尺寸也未必合适。 由此引出思考,如何能对任意尺度的图片进行操作?

.

目标检测: SPPNet_第2张图片

文中给出了 SPP 的方法,它是词袋(bag-of-words)的一个拓展,如上图是中间卷积层的卷积核对某些局部特征的响应,而这些同类的特征在不同尺寸的感受野中,包括不同图片的不同位置都有,所以特征图不仅包含了对某个特征的反映强度,同时包含了特征所在的空间信息。值得注意的是,一些传统方法的特征图也都没有对输入尺寸做限制,且有些方法反而还要在多尺度的图像上进行操作。这里 SPP 主要有以下几点好处

  • SPP 可以不论输入的尺寸,输出都是同一尺寸
  • SPP 使用多级空间池化,比单级池化更有鲁棒性
  • SPP 可以在不同尺寸上提取特征

SPP 用在分类中

.

目标检测: SPPNet_第3张图片

由上图主要及前面的图片可以看出,SPP 在分类任务中的使用主要是放在全连接层前面,然后对输入的每一个通道的特征图都做一个多尺度的分块池化操作,尺度由细到粗,最后形成一个固定长度的特征向量,再输入到全连接层,文中在不同的分类网络上验证了 SPP 带来分类性能的提升。

SPP 用在检测中

.

目标检测: SPPNet_第4张图片

对于目标检测问题,多尺寸的问题尤为明显,所以一些传统的方法, DPM 是从 HOG 特征图上提取特征的,Selective search 则是在编码后的 SIFT 特征图上提取特征,Overfeat 也是从卷积神经网络的窗口上进行特征提取。这里 SPP 在目标检测领域也是采用了同样的方法, SPP 用在 R-CNN ,但是有别于 R-CNN,SPP 是输入整张图片,然后在 SPP 层前面的特征图中找到对应的 region proposal 的位置,然后进行一个多级池化的操作(有别于分类问题中对整张特征图进行池化),由此,每个 region proposal 都产生多级池化后的特征图并拼接在一起。 R-CNN 是每张图片用 SS 的方法提取 2000 个 region proposal 然后重复训练多次来特取特征, 而 SPPNet 则是整张图片提取特征(可能同一张图片采用不同尺寸输入网络中),然后从对应的目标窗口产生多级的池化特征,耗时的卷积操作只做一个,因此在速度上有了很大的提升。

这里还需要提的就是 region proposal 坐标映射的问题,即从原图直接映射到当前尺寸的特征图中,文中是对真值框的左上角和右下角两个点的坐标进行映射,且左上角 floor(x/S)+1 , 即除以分辨率变化倍数,向下取整,然后加1; 右下角是 ceil(x/S)-1,即除以分辨率变化倍数,向上取整,然后减1。

目标检测: SPPNet_第5张图片

你可能感兴趣的:(论文,目标检测)