目标追踪与定位学习笔记7-遮挡感知R-CNN：在人群中检测行人论文阅读

Occlusion-aware R-CNN：Detecting Pedestrians in a Crowd

遮挡感知R-CNN：在人群中检测行人
论文地址：arxiv

1. Overview

文章提出了新的遮挡感知算法来提高人群中的检测精度，具体而言设计一个新的aggregation loss去靠近并紧凑的定位到相对应对象。同时，使用一个新的汇集单元来代替RoI汇集层，以便将具有可见性预测的人体先验结构信息集成到网络中来处理遮挡。

此文章使用的数据集(CityPersons, ETH, INRIA)

AggLoss不仅强制建议靠近相对应的对象，而且最小化与相同对象相关联的建议内部区域距离。同时为了有效的处理部分遮挡，提出一种新的部分遮挡感兴趣的区域PORoI池单元来代替探测器第二阶段Fast R-CNN模块中的原始RoI池层，该单元将人体的先验结构信息与可见性预测集成到网络中。

算法思路：首先将行人区域划分为5个部分，通过自适应的边界框将每个部分的投影下的特征以及整个建议在特征图上的投影合并成固定长度的特征向量。然后利用学习后的子网络预测各部分的能见度得分，结合提取的特征进行行人检测。

行人检测研究历史：对所有位置和比例的子图像进行穷尽性操作的行人检测器 -> 用于人体检测的方向梯度(HOG)描述符和支持向量机(SVM)分类器的直方图 -> 有证明使用来自多个通道的特征可以显著提高性能 -> 通过适当的滤波器组，滤波后的信道特征可以达到最高的检测质量 -> 设计了一种建立在低层视觉特征和空间汇集基础上的新特征，并直接优化ROC曲线下的部分区域以获得更好的性能

2. 算法原理

遮挡感知R-CNN探测器是基于行人探测的自适应Fast R-CNN框架。具有aggregation loss和PORoI池化单元。

Fast R-CNN由两个模块组成，一个RPN(Region Proposal Network)，一个Fast R-CNN模块。其中RPN模块用来生成高质量的region proposals，Fast R-CNN模块用于根据生成的建议对象的准确位置和大小进行分类和回归。

为了在第一个区域规划网络模块中有效的生成区域准确建议，本文设计聚焦损失项，以强制建议紧密且紧凑的位于ground-truth，定义为：
$${\mathbb{L}}_{rpn}(\{p_i\},\{t_i\},\{p_i^{\ast }\},\{t_i^{\ast }\})={\mathcal{L}}_{cls}(\{p_i\},\{p_i^{\ast }\})+\alpha \cdot {\mathcal{L}}_{agg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\}),$$
i是mini-batch中的锚的索引，$p_i和t_i$是第i个锚的预测置信度，$p_i^{\ast }和t_i^{\ast }$是第i个锚的ground-truth类标签和坐标。$\alpha$是平衡两个损失的超参数。${\mathcal{L}}_{cls}(\{p_i\},\{p_i^{\ast }\})$是分类损失，${\mathcal{L}}_{agg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})$是聚集损失。使用对数损失来计算两个类之间的分类损失。行人的$p_i^{\ast }=1$背景的$p_i^{\ast }=0$。
$${\mathcal{L}}_{cls}(\{p_i\},\{p_i^{\ast }\})=\frac{1}{N_{cls}}\sum _i-(p_i^{\ast }\log p_i+(1-p_i^{\ast })\log (1-p_i))$$
$N_{cls}$是分类问题中锚的总数量。

2.1 Aggregation Loss

为了减少相邻重叠行人的错误检测，我们强制建议靠近并紧凑地定位到相应的ground-truth。我们为区域建议网络(RPN)和快速R-CNN算法中的快速R-CNN模块设计了一种新的聚集损失(AggLoss)，这是一种多任务损失推动建议接近相应的真实值对象，同时最小化与相同对象相关联的建议的内部区域距离，即，
$${\mathcal{L}}_{agg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})={\mathcal{L}}_{reg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})+\beta \cdot {\mathcal{L}}_{com}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\}),(3)$$
${\mathcal{L}}_{reg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})$是回归损失，要求每个建议接近指定的ground-truth，$\cdot {\mathcal{L}}_{com}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})$是紧急性损失(compactness)，强制建议紧挨着制订的基本事实对象。

类似于Fast R-CNN，使用平滑L1损失作为回归损失${\mathcal{L}}_{reg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})$来度量边界框的精度。
$${\mathcal{L}}_{reg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})=\frac{1}{N_{reg}}\sum _i{p}_i^{\ast }\Delta (t_i-t_i^{\ast })$$
$N_{reg}$是回归阶段锚的总数，$\Delta (t_i-t_i^{\ast })$是预测边界框$t_i$的平滑L1损失。

3中的后半部分是考虑相同基本事实对象相关的建议的吸引力。通过这种方式可以提出在ground-truth周围的紧密定位的建议，以减少相邻重叠对象的错误检测。具体而言，将$\{{\tilde{t}}_1^{\ast },\cdot \cdot \cdot ,{\tilde{t}}_{\rho }^{\ast }\}$设置为与一个以上锚相关联的ground-truth集合。并将$\{{\tilde{\phi }}_1^{\ast },\cdot \cdot \cdot ,{\tilde{\phi }}_{\rho }^{\ast }\}$设置为与ground-truth相对应的相关锚的索引集，真实值${\tilde{t}}_k^{\ast }$和锚的索引值${\varphi }_k$结合起来，其中$\rho$是与一个以上锚相关联的真实对象的总数。因此，对于${\tilde{t}}_k^{\ast }\in \{{\tilde{t}}_i^{\ast }\}$和${\Phi }_i\cap {\Phi }_j=\varnothing$，我们用L1损失来度量由$\{{\Phi }_1,\cdot \cdot \cdot ,{\Phi }_{\rho }\}$中的每个集合索引的锚的平均预测和对应真实值之间的不同，描述了预测的边界框相对于真实值对象的紧凑性：
$${\mathcal{L}}_{com}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})=\frac{1}{N_{com}}\sum _{i=1}^{\rho }\Delta ({\tilde{t}}_i^{\ast }-\frac{1}{|{\Phi }_i|}\sum _{j\in {\Phi }_1}{t}_j)$$
$N_{com}$是多于一个锚结合的真实值的总数，$|{\Phi }_i|$是第i个真实值所连接的锚的数目。

2.2 零件遮挡感知RoI汇集单元

基于零件的模型在处理遮挡行人时时有效的。本文设计了一个新的零件遮挡感知RoI池化单元，将人体的先验结构信息与可见性预测集成到检测器的Fast R-CNN模块中，该模块组装了一个微神经网络来估计部件的遮挡状态。

我们将每个单元分成5个部分，使用RoI池化来获得相对应的特征$(F_1,\cdot \cdot \cdot ,F_5)$，然后将其喂入遮挡处理单元来预测可见性分数$(o_1,\cdot \cdot \cdot ,o_5)$，我们还对Q应用RoI池化来生成整体特征$\mathcal{F}$，最后特征被计算为$\mathcal{F}\oplus (o_1\cdot {\mathcal{F}}_1)\oplus (o_2\cdot {\mathcal{F}}_2)\oplus (o_3\cdot {\mathcal{F}}_3)\oplus (o_4\cdot {\mathcal{F}}_4)\oplus (o_5\cdot {\mathcal{F}}_5)$，随后用于回归和分类。

遮挡处理单元：根据合并特征来预测相应部分的可见性得分。具体而言遮挡处理单元由三个卷积层和一个在训练中具有对数损失的softmax layer构成。$c_{i,j}$代表第i个方案的第j个部分，$o_{i,j}^{\ast }$代表可见的真实值得分，如果半部分$c_{i,j}$可见，则$o_{i,j}^{\ast }=1$，否则，$o_{i,j}^{\ast }=0$。定义$c_{i,j}$和真实目标的可见区域除以$c_{i,j}$的面积超过阈值，则$o_{i,j}^{\ast }=1$,
$$o_{i,j}^{\ast }=\{\begin{array}{l}1\frac{\Omega (U(c_{i,j})\cap V(t_i^{\ast }))}{\Omega (U(c_{i,j}))}>\rho ,\\ 0\frac{\Omega (U(c_{i,j})\cap V(t_i^{\ast }))}{\Omega (U(c_{i,j}))}\le \rho ,\end{array}$$
其中$\Omega (\cdot )$是计算面积的函数，$U(c_{i，j})$是$c_{i,j}$的区域，$V({\tilde{t}}_i^{\ast })$是真实值对象的可见区域，$\cap$是两个区域的交集运算，遮挡处理单元的损失函数可以这样计算:
$${\mathcal{L}}_{occ}(\{t_i\},\{t_i^{\ast }\})=\sum _{j=1}^5-(o_{i,j}^{\ast }\log o_{i,j}+(1-o_{i,j}^{\ast })\log (1-o_{i,j}))$$
在此之后，应用逐元素乘法符将每个部分的合并特征与相应的预测可见性分数相乘，生成512*7*7的最终特征，逐元素求和操作被进一步用于组合五个部分的提取特征和用于R-CNN模块的分类和回归整个proposal。

为了进一步提高回归准确率，我们用在Fast R-CNN模块中使用AggLoss：
$$\begin{gathered} {\mathbb{L}}_{frc}(\{p_i\},\{t_i\},\{p_i^{\ast }\},\{t_i^{\ast }\})={\mathcal{L}}_{cls}(\{p_i\},\{p_i^{\ast }\})+\alpha \cdot {\mathcal{L}}_{agg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\}) \\ +\lambda \cdot {\mathcal{L}}_{occ}(\{t_i\},\{t_i^{\ast }\}), \end{gathered}$$
其中，$\alpha$和$\lambda$用于平衡三个损失项，${\mathcal{L}}_{cls}(\{p_i\},\{p_i^{\ast }\})$和${\mathcal{L}}_{agg}(\{p_i^{\ast }\},\{t_i\},\{t_i^{\ast }\})$是分类和聚集损失，定义与RPN相同，${\mathcal{L}}_{occ}(\{t_i\},\{t_i^{\ast }\})$是遮挡模块的损失。

3. 实验

3.1 实验设置

本文提出的OR-CNN是基于Fast R-CNN框架使用VGG-16作为主干网络，在ILSVRC CLSLOC数据集上预训练，对高度小于100像素的锚盒进行二次密集来提高小规模行人的检测精度，使用相应的匹配策略将锚和真实值相关联。

在新加的卷积层的所有参数都是使用xavier方法随机初始化的。使用动量为0.9，衰减率为0.0005的随机梯度下降算法优化OR-CNN，硬件设施 2 TitanX GPU。

CityPerson数据集：前40k个迭代学习率$10^{-3}$，后20k个迭代的学习率为$10^{-4}$。

Caltech-USA数据集：前120k个迭代学习率为$10^{-3}$，在前80k个迭代后将学习率减少10倍。超参数$\alpha ,\beta ,\lambda$均设置为1。

3.2 CityPerson数据集

数据集有5000张图片(2975,500,1525)，带有35000个手动注释的人加上13000个忽略区域注释。边界框和行人的可见部分都被提供，并且每张图片上平均大约有7个行人。Heavy代表大于35%的遮挡，partial代表在10%-35%的遮挡，bare代表小于10%的遮挡。

比例尺代表训练和测试中原始图像的放大数量，$M{R}^{-2}$用于比较检测器的性能（分数越低性能越好）。

在每幅图像的假正例范围内的平均对数损失率用来衡量检测性能（分数越低表示性能越好）。在实验中，验证集中的$M{R}^{-2}$设置为12.5，比例尺设置为1.3可以获得最佳的结果。

OR-CNN-A用来证明聚集损失的有效性，使用聚集损失代替基础基线检测器中的原始回归损失，并进行评估。此方法可以将$M{R}^{-2}$降低1.1%(12.5-11.4)。聚集损失比Repulsion更能有效地检测到人群中的行人。

如左图所示，OR-CNN-A探测器的预测比基础探测器框更简洁，位于两个相邻真实值之间的预测比基线探测器少。这一现象表明，聚集损失可以将预测紧凑地放在真实值物体上，使检测器对NMS阈值不太敏感，在人群场景中具有更好的性能。右图表示FPPI=0.01时NMS阈值下的增益损耗结果，高阈值容易产生更多的假正例，低NMS容易产生更多的假反例。OR-CNN-A比基线更加平滑，方差也较小。

因为NMS操作在OR-CNN-A预测中过滤了比基线更多的假正例，所以这种方法总能产生较低的漏检率，这意味着OR-CNN-A的预测边界框比基线方法更紧凑地定位。

PORoI的消融研究：构建OR-CNN-P来验证PORoI的有效性，使用PoRoI汇集单元而不是基线中的RoI汇集层，并在数据集上进行评估。参数和上述一样，在相应的数据集上进行训练和测试。

若行人没有遮挡，则行人各部分的可见度得分接近1，若行人的某些部位被背景障碍物或其他行人遮挡，则相应部位的分值会降低，比如图3©-(f)中被遮挡的大腿和小腿。如果两个行人相互遮挡，PORoI也可以成功检测到遮挡的人体部分，这有助于降低遮挡部分在行人检测中的贡献。如果我们将每个部分的可见性分数固定为1，而不是使用遮挡处理单元的预测，OR-CNN检测器的检测精度无法提高。因此遮挡处理单元是检测精度的关键组件，使我们的PORoI池单元能够检测行人的遮挡部分，这有助于提取有效的检测特征。

第二好的探测器Repulsion排斥损失使用更大的输入图像×1.5scale并且使用更强大的网络

3.3 Caltech-USA Dataset

数据集的训练集和测试集分别有42782帧和4024帧，在$10^{-2}到10^0$范围内选9个点，取其对数平均失效率来评估探测器的性能。合理子集遮挡率小于35%仅包括至少50像素高的行人，这被广泛应用于评估行人探测器。

3.4 ETH Dataset

OR-CNN和RFN+BF方法：在ETH数据集上的实验结果不仅验证了该方法在行人检测中的优越性，也验证了其对其他场景的泛化能力。

3.5 INRIA Dataset

数据集包括主要从假日照片中收集的高分辨率行人图像，有2120张(1832+288)图片组成。训练集中有614张正样例和1218张负样例。

4. 结论

本文贡献：

• 设计新的聚焦损失来减少相邻重叠行人的错误检测，同时强烈建议靠近相关对象，并能紧凑地定位。
• 提出RoI池化单元代替检测器的Fast R-CNN模块中的RoI层，有效处理部分遮挡。将人体的先验结构信息与可见性预测集成到网络中来处理遮挡。

论文可改进的地方：

• 重新设计PORoI池化单元，联合估计网络中对象部分的位置大小和遮挡状态。不使用经验比率。
• 可以用于检测其他物体，提高模型的泛化性。