Scale-aware Fast R-CNN for Pedestrian Detection（2015）

1.Introduction

     行人检测旨在预测图像中所有行人实例的bounding box。近年来，它已经引起了计算机视觉界的广泛关注[5]，[38]，[40]，[7]，[46]，[6]，[45]，[10]，[21]，作为许多以人为中心的应用的重要组成部分，如无人驾驶汽车，人员重新识别，视频监控和机器人技术[20]，[39]。
     最近，很多研究工作[35]，[46]，[24]，[32]用于行人检测。然而，他们通常会留下一个未解决的关键问题，由图像中不同尺度的行人引起的问题，在自然场景中这显示出相当大的影响行人检测的性能。我们在图1中提供本文动机的图示。

视频监控图像中的行人实例（例如，Caltech数据集[8]）通常具有非常小的尺寸。从统计学角度来说，超过60％的Caltech训练集的实例的高度小于100像素。由于以下困难，准确地对这些小尺寸的行人实例进行定位是非常具有挑战性的。首先，大多数小尺寸实例出现带有边框模糊，外观模糊。将它们与杂乱的背景和其他重叠实例区分开很难。其次，大尺寸的行人实例通常表现出与小尺寸实例显着不同的视觉特征。例如，大尺寸实例的身体骨骼可以为行人检测提供丰富的信息，而小尺寸实例的骨骼无法如此容易地识别。这些差异也可以通过比较生成的大尺寸和小尺寸行人特征图来验证，如图1所示。对于大尺寸实例显示了详细身体骨骼的高特征响应，而仅获的小尺寸实例的粗糙特征图。

         

        现有的工作主要从两个方面解决尺度差异问题。首先，使用强力的数据增强（例如，多尺度[12]或调整大小[13]）来提高尺度不变能力。其次，在具有多尺度滤波器的单个模型[14] [42]中，使用各种尺寸的所有实例。然而，由于大尺寸和小尺寸实例的类内差异，很难处理它们与单个模型的特征响应的显着不同。为了利用各种尺度的实例的显着不同的特征，我们采用分治理念来解决这个关键的尺度变化问题。基于这一理念，统一的框架可以包括多个单一模型，每个模型专门通过捕获尺度特定的视觉模式来检测特定范围尺度的实例。

        受上述想法的驱动，我们开发了一种基于fast R-CNN流程的新型Scale-Aware Fast R-CNN（SAF R-CNN）框架[12]。所提出的SAF RCNN将大尺寸子网络和小尺寸子网络集成到统一的架构中。如图2所示，给定一个带有对象提议的输入图像，SAF RCNN首先将原始图像通过底部共享卷积层提取其整个的特征图。将这些特征图和对象提案的位置作为输入，两个子网络为每个提案提供不同的类置信度得分和边界框回归，然后将其组合以产生最终检测结果，using two scale-aware weights predicted by a scale-aware weighting layer that performs a gate function defined over the proposal size.

        SAF R-CNN以以下方式采用门函数，以实现对各种尺度的鲁棒性：当输入大尺寸时，为大尺寸子网络分配较高的权重;否则，它给小尺寸子网络的权重更大。这种scale-aware加权机制可以是被认为是两个子网络的soft activation，最终的结果总是可以通过适合当前尺度输入的子网络来提升。因此，SAF R-CNN可以在广泛的输入尺寸下实现卓越的检测性能。此外，由于SAF RCNN为不同的对象提议共享整个图像的卷积特征，因此在训练和测试时间方面都非常有效。

         总而言之，本文作出以下贡献。首先，我们提出了一种用于行人检测的新颖的Scale-Aware Fast R-CNN模型，将大尺寸子网络和小尺寸子网络融合到统一的架构中，遵循分治理念。其次，提出了一种scale-aware加权机制，以提升专门针对当前输入尺寸的子网络的贡献，并在较大的输入范围内提升最终的检测性能。第三，对几个具有挑战性的行人数据集进行了广泛的实验，证明SAF R-CNN在四分之三以上的行人数据集上提供了新的state-of-the-art的表现。

2.Related Work

Hand-crafted Model：基于hand-crafted feature的模型已广泛应用于物体检测[5]，[38]，[40]，[7]，[46]，[6]，[45]，[10] ]，[47]，[27]，[26]。可形变部件模型[10]考虑每个部件的外观和部件之间的形变检测。积分通道特征（ICF）[7]和聚合通道特征（ACF）[6]可使用积分图有效提取诸如局部和，直方图和Haar特征等特征。 Wang等[40]组合梯度方向直方图(HOG）和局部二值模式（LBP）作为特征集来处理部分遮挡。 Nam [22]介绍了一个高效的特征变换，通过将[15]的特征扩展到ACF来消除局部图像邻域中的相关性。在[3]中使用多阶上下文表示来利用不同对象的共现上下文。蔡等[46]组合不同复杂度的特征来寻求准确性与复杂性之间的最佳权衡。另外，一些方法的目标是尺度不变。 Park[28]采用了一种多分辨率模型，当评分大尺寸实例时，充当基于可变形部分的模型，而在划分小尺寸实例时则采用刚性模板。 Yan[43]提出将不同分辨率的行人映射到共同的子空间，以减少局部特征的差异。然后在映射的特征上学习共享检测器，以区分行人与背景。
Deep Learning Model：卷积神经网络（CNN）近来已成功应用于通用对象识别[13]，[16]，[12]，[30]，[31]。最近的一些工作着重于提高使用深度学习方法的行人检测的性能[24]，[32]，[23]，[35]。 Sermanet等人[32]使用基于卷积稀疏编码的预先训练CNN的无监督方法进行行人检测。田等[35]共同优化了语义任务和行人检测。另外还提出了几种方法来改善CNN的尺度不变性。龚等[14]提取了三种不同尺度的局部块的CNN激活，并产生了图像块的级联特征，通过在每个级别分别执行这些激活的无秩序的VLAD池化。徐等[42]同时检测多列不同尺度的输入模式，并从所有列中连接顶层特征图进行最终分类。以前的方法通常对各种尺寸的对象提案采用相同的过滤器，但是大尺寸和小尺寸对象提案的内在特征的差异尚未得到充分探索。我们探索一个由大尺寸和小尺寸子网络组成的简单而有效的框架，并使用关于提案大小的scale-aware权重来融合其结果。这两个子网络被专门学习成为不同输入尺度的专家，从而实现了对尺度变化的高度鲁棒性。

3.Scale-Aware Fast R-CNN（SAF R-CNN）

A.Overview of Proposed Model

        提出的Scale-Aware Fast R-CNN（SAF R-CNN）框架是分别检测大尺寸和小尺寸行人的两个尺度特定子网络的集成。然后，两个子网络的检测结果通过在输入尺寸上定义的门函数进行融合。两种子网络的这种scale-aware协作使得所提出的SAF R-CNN能够准确地捕获不同尺度的对象的独特特征，同时其早期层中的共享卷积滤波器也包含所有实例共享的共同特征。 SAF R-CNN的架构是基于流行的Fast R-CNN检测框架[12]开发的，因为它在检测一般对象方面具有出色的性能和计算效率。 SAF R-CNN以整体图像和多个对象提案作为输入，然后输出检测结果。

B.Pedestrian Proposals Extraction

       在本文中，我们利用ACF检测器[6]来生成对象建议。 ACF检测器是一种快速有效的基于滑动窗口的检测器，在刚体检测中执行得很好。与用于检测通用对象的其他提议方法不同[36]，[1]，[48]，可以对ACF检测器进行训练，以检测特定类别的对象，从而可以用于提取和挖掘高质量的对象提议。为了与最先进的技术[17]，[35]进行公平比较，我们还使用ACF检测器的对象提案作为输入。按照Caltech数据集[8]的标准设置，我们在Caltech训练集上训练ACF行人检测器，并将ACF检测器应用于-70的低检测阈值的训练和测试图像以生成对象建议。

C. Architecture of SAF R-CNN

     

     图3详细说明了SAF R-CNN的架构。 SAF R-CNN将输入图像传递到几个卷积层和最大池化层以提取特征图。然后，所提出的网络分为两个子网，分别专门用于检测大尺寸和小尺寸实例。两个子网络中的每一个都将从先前卷积层产生的特征图作为输入，并且通过若干卷积层进一步提取特征以产生专门用于特定范围输入尺度的特征图。利用[12]中提出的RoI池化层将每个输入的对象提议的特征图池化为固定长度的特征向量，该特征向量被馈送到完全连接层序列中。
       每个子网络最终都有两个输出层，每个对象提案产生两个输出向量。特别地，一个输出层在K个对象类加上“背景”类上输出分类分数。另一个输出层是为K个对象类输出精确的边界框位置的边界框回归器。最后，将两个子网络的输出进行加权组合，得到每个输入对象提案的最终结果。用于融合来自两个子网络的输出，每个对象提议的两个权重由scale-aware加权层给出，该权重层执行在对象提议大小上定义的门函数，详见第3-D节。来自两个子网络的分类分数通过计算的权重被加权组合，以获得最终的分类分数，其被馈送到softmax层，以针对每个输入对象提议在K + 1类上产生softmax概率。类似地，边界框回归器因此由权重组合以产生每个提案的最终结果。

D.Scale-Aware Weighting

      由于从大尺寸和小尺寸行人提取的特征显示出显着差异，SAF R-CNN包含两个子网络，分别针对大尺寸和小尺寸行人的检测。scale-aware加权层被设计成执行门函数，该函数根据对象提议的大小定义，并用于组合来自两个子网络的检测结果。直观地说，两个子网络的权重应满足以下条件限制。如图2所示，给定大尺寸对象建议时，大尺寸网络的权重应该很高，而对于小尺寸子网络的权重应该较低。对于小尺寸对象提案，情况恰恰相反。因此，通过将来自两个子网络的输出与权重融合，SAF R-CNN对于不同大小的行人实例是鲁棒的。这种scale-aware加权机制可以被认为是两个子网络的soft-activation，并且最终结果总是可以通过适合当前输入尺寸的子网络提升。
       请注意，对象提案的大小可以通过其宽度或其高度来衡量。然而，对于与摄像机距离恒定的行人，他的边界框的高度变化很小，而宽度可能随着行人姿态的变化而变化很大。这个事实也在Caltech基准测试[8]中有所描述。因此，边界框的高度对于测量行人的尺寸是更稳定的。

      在我们提出的方法中，我们定义了一个scale-aware加权层，它在对象提案的高度上执行一个门函数，自适应地加权来自两个子网络的输出。 更具体地说，令ωl和ωs分别表示通过scale-aware加权层计算的输出权重，分别为大尺寸子网络和小尺寸子网络。 给定具有高度h的输入对象提议，ωl计算为

其中h¯表示训练集中行人的平均高度，α和β是两个可学习的比例系数。 我们通过反向传播优化这两个参数。 scale-aware加权层的向后函数计算损失函数L对α和β的偏导数：

因为最终的结果是通过融合大尺寸和小尺寸子网络的输出而得到的，所以我们将两个子网络的权值和为1，以避免任一模型的不正确的主导。 因此，小尺寸子网络的输出权重ωs可以简单地计算为ωs= 1-ωl
     给定一个高度高的大尺寸对象提案，当ωs接近0时，ωl的值变为1，最后的预测主要来自大尺寸子网络。 相反，给定一个较小高度的小尺寸对象提案，最终结果主要取决于小尺寸子网络。

E.Optimization

     我们的SAF R-CNN中的每个子网络都有两个兄弟输出层。 第一个输出层输出每个对象提案在K+1类上的离散置信度得分分布s =（s0，...，sk）。 第二个输出层输出K个对象类的边界回归偏移量。 类k的边界回归偏移可以表示为tk =（tkx，tky，tkw，tkh）。 根据[13]中的参数化方案，tk 指定相对于原始位置和对象提议的大小的位置转换和边界框大小偏移。 根据如上所述，根据输入对象提议的大小计算的权重来组合来自两个子网络的输出。 回想一下，ωl和ωs分别是大尺寸和小尺寸子网络的输出的权重。 最终预测的离散置信得分分布可以计算为

其中sl和ss分别表示由大尺寸和小尺寸子网络的第一个输出层输出的离散置信度分布。 类似地，最终的加权边界回归偏移计算为

其中tl和ts分别表示由大尺寸和小尺寸子网络的第二个输出层输出的边界回归偏移量。
      每个训练提案标有ground truth 类别g和ground truth边界回归目标t *。 利用每个对象提案的多任务损失L共同训练两个子网络的网络参数：

其中Lcls和Lloc分别是分类和边界回归的损失。 特别的，Lcls是对数损失，Lloc是平滑的L1损失[12]。当g≥1， Iverson括号指示函数1 [g≥1]等于1 ，否则为0。 对于背景提案（即g = 0），忽略Lloc。通过联合训练由相对于对象提议的大小的scale-aware权重连接的两个专用子网， SAF R-CNN能够在广泛的输入尺寸范围下输出精确的检测结果。