类别感知目标计数：Class-aware Object Counting 论文笔记

写在前面
  开学归来，正式复工~
  这是一篇多类别目标计数的文章，思路清晰，但公式表达的不是太好(有点云里雾里的)，暂未开源。

• 论文链接：Class-aware Object Counting
• 代码链接：暂无
• 收录于 WACV 2022 workshop

一、Abstract

  现有基于检测的模型非常适合类别感知目标计数以及低密度目标计数任务，但是在目标数量较多或者多类别目标的数量不同时，性能较差。因此本文基于检测的方法，提出了一种带有多类别密度估计分支的端到端网络。特别之处在于将所有分支预测的结果喂给一个连续的计数估计网络，从而预测出每个类别的数量。
  本文核心的idea：检测相关目标的同时建立多类别密度图，之后所有分支的结果融合来生成每个类别的精确计数结果。

二、引言

  首先指出目标计数的应用，包含交通监测、幸存人员检测、公众安全监管(防止多人聚集)、城市规划等。而为了解决这些问题，提出了人群计数(可以泛化到目标计数)任务，一般的解决方法有基于检测的、基于回归的以及基于密度估计的。
  类比目标检测的发展，基于检测的方法有可以分为单阶段和双阶段检测。虽然基于目标检测的方法在低密度图像计数中表现很好，但是在稠密图像中的表现很差。
  与上述基于检测的方法进行对比，虽然直接回归的方法更适合，但却不能充分利用空间分布信息。与之相反的是，基于密度估计的方法很受欢迎。该方法不是直接预测全局数量或者精确的位置，而是生成相关类别的密度图，之后对密度图进行统计即可进行全局计数。但是该方法易在稀疏场景上过度估计，因此在低密度计数中表现差些。
  此外，最近所有的基于密度估计的方法均不适用于当前的多类别感知模型，最主要的问题在于各个类别密度上的变化较大。接下来作者指出多类别目标计数的工作较少，因此本文在DecidedNet的基础上提出了一种多类别密度估计网络。该网络可用于类别感知目标计数以及作为目标检测的基础结构。

  本文贡献如下：

• 提出一种新颖的类别感知密度估计方法，能够整合到目标检测和实例分割模型中；
• 该方法包含了一个计数估计网络用于预测不同类别目标的数量，也可以用于验证目标检测的结果；
• 效果很好。
  
    目前先进的目标计数方法一般关注于单类别计数，但是现实场景是待计数目标的尺寸和形状变化极大，同时包含了很多不相关的类别。

三、相关工作

3.1 R-CNN

  回顾一下CNN的发展。

3.2 Context-aware crowd counting

[18] Weizhe Liu, Mathieu Salzmann, and Pascal Fua. Contextaware crowd counting. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5099–5108, 2019.

3.3 Crowd FPN

[20] Andreas Michel, Jonas Mispelhorn, Fabian Schenkel, Wolfgang Gross, and Wolfgang Middelmann. An approach to improve detection in scenes with varying object densities in remote sensing. In Lorenzo Bruzzone, Francesca Bovolo, and Emanuele Santi, editors, Image and Signal Processing for Remote Sensing XXVI, volume 11533, pages 107 – 113. International Society for Optics and Photonics, SPIE, 2020.

四、方法

  本文提出的方法由多类别密度估计网络 multi-class density estimation Network (MCDEN) 和检测通道组成，之后这两者的输出作为计数估计网络 count estimation network (CEN) 的输入。
  根据 Fig. 3，利用 FPN 作为 backbone 提取不同感受野和语义水平的特征图，然后分别送入到含有 RPN 的检测管道中(包含NMS，boxhead，可选的 maskhead) 以及带有密度估计分支的 MCDEN 中，MCDEN 输出类别感知的密度图。两条支路的将结果作为 CEN 的输入来预测每个类别的数量。

4.1 Multiclass density estimation network

  模型的输入为一系列的训练图像 $\{I_i{\}}_{1\le i\le N}$ 和相关联的 GT 密度图 $\{D_{i,j}^{gt}{\}}_{1\le j\le c}$，其中 $c$ 为不同的目标类别。设计模型以使得对于每一个目标类别，由参数 $\theta$ 学习的映射 ${\mathcal{F}}_j$ 可以估计出 $c$ 的密度图 $\{D_{i,j}^{gt}\}$。而 ${\mathcal{F}}_j$ 可以通过最小化 GT 和预测的 $L_2$ 之间的正则化距离得到，用公式表示为：
$$D_{i,j}^{\text{est }}\left(I_i\right)={\mathcal{F}}_j\left(I_i,\theta \right)$$
  下面是具体流程：首先 FPN 输出 4 个相关联的特征图 $f_s$，缩放因子为 $s\in \frac{1}{4},\frac{1}{8},\frac{1}{16},\frac{1}{32}$，用公式表示为：
$$f_s=\{\begin{array}{c}{\mathcal{I}}_{bi}\left({\mathcal{F}}_{\mathrm{F}\mathrm{P}\mathrm{N},s_4}(I)\right)\\ {\mathcal{I}}_{bi}\left({\mathcal{F}}_{\mathrm{F}\mathrm{P}\mathrm{N},s_3}(I)\right)\\ {\mathcal{F}}_{\mathrm{F}\mathrm{P}\mathrm{N},s_2}(I)\\ {\mathcal{F}}_d\left({\mathcal{F}}_{\mathrm{F}\mathrm{P}\mathrm{N},s_1}(I)\right)\end{array}$$其中 ${\mathcal{I}}_{bi}$ 为双线性插值的上采样，${\mathcal{F}}_d$ 为下采样操作。同时为了增加尺度感知能力，有：
$${\delta }_l=s_l-s_{1}l\in \{2,3,4\}$$其中 $\delta$ 记为对比特征，对于每一个对比特征，有
$$w_l={\mathcal{F}}_{sa}^l\left({\delta }_l,{\theta }_{sa}^l\right)$$
其中 ${\mathcal{F}}_{sa}^l$ 为 $1\times 1$ 卷积层的输出，之后跟着一个sigmoid和尺度感知操作。最终，对尺度感知特征和对比特征进行逐元素乘法操作，并将它们与特征图 $f_{s1}$ 逐通道拼接，有：
$$f_I=\left[f_{s_1}\mid \sum _{l=2}^4{\omega }_l\odot s_l\right]$$
  之后，对于每一个类别 $c$，利用一个特定的解码器网络 ${\mathcal{F}}_{\text{dc}}$，有：
$$D_c^{\mathrm{e}\mathrm{s}\mathrm{t}}=\{\begin{array}{c}{\mathcal{F}}_{\mathrm{d}\mathrm{c},1}\left(f_I\right)\\ ⋮\\ {\mathcal{F}}_{\mathrm{d}\mathrm{c},j}\left(f_I\right)\\ ⋮\\ {\mathcal{F}}_{\mathrm{d}\mathrm{c},c}\left(f_I\right)\end{array}$$解码器由多个膨胀卷积序列组成，之后接上正则化和 $\text{ReLU}$ 激活函数。

4.2 Detection pipeline

  检测管道主要源于 Mask R-CNN，需要注意的是，本文添加了一个可选的 maskhead，作用是估计潜在目标的分割掩码。（吐槽一下，这本来就是Mask R-CNN上的）

4.3 Count estimation network

  对于某个目标类别 $j$ 有：
$${\mathrm{C}\mathrm{E}\mathrm{N}}_j={\mathcal{F}}_{\text{stage }2}\left(B_j^{\text{est }}+{\lambda }_{\text{res }}\cdot {\mathcal{I}}_{bi}\left({\mathcal{F}}_{\text{stage }1}\left(D_j^{\text{est }}\right)\right)\right)$$
其中 ${\mathcal{F}}_{\text{stage }1}$ 和 ${\mathcal{F}}_{\text{stage }2}$ 分别是 Fig. 4 中的两个操作，分别由全卷积层和多层全连接层组成。${\mathcal{I}}_{bi}$ 是有着固定输出尺寸 $c\times ϵ$ 的双线性插值。$ϵ$ 为训练中可调的超参数，$c$ 是目标类别的数量。${\mathcal{B}}_{est}$ 和 ${\mathcal{D}}_{est}$ 分别为检测管道和密度估计管道的输出结果。${\lambda }_{res}\in [0,1]$ 为尺度调整因子，记为：
$${\lambda }_{\text{res },j}=\frac{{\sum }_{x=1}^X{\sum }_{y=1}^Y({\mathcal{F}}_{\text{stage1 }}\left(D_j^{\text{est }}(x,y)\right)}{{\sum }_{x=1}^X{\sum }_{y=1}^Y{\mathcal{I}}_{bi}\left({\mathcal{F}}_{\text{stage }1}\left(D_j^{\text{est }}(x,y)\right)\right)}$$其中 $x,y$ 为给定长宽为 $X\times Y$ 的图像上的像素坐标。
  ${\mathcal{B}}_{est}$ 和 ${\mathcal{D}}_{est}$ 之后喂入CEN：首先 ${\mathcal{D}}_{est}$ 经过一个 32 核滤波器的 2D 卷积，之后跟着一个 batch正则化和 $\text{ReLU}$ 激活函数，重复该操作，这样再通一个 $c$ 滤波器的 2D卷积即为输出。接着用另外一组 batch正则化和 $\text{ReLU}$ 激活函数处理，最终的结果插值为一个维度为 $c\times ϵ$ 的矩阵，之后经一个尺度因子 ${\lambda }_{res}$ 和一个裁剪操作输出。
  此外，对于每一个类别 $j$，来自于检测通道计算的目标将会保存为向量 $v\in {\mathbb{N}}^c$，将此向量与之前得到的检测结果 $B_j^{\text{est}}$ 拼接然后喂给一个 2 层稠密层的序列，经过 batch正则化和 $\text{ReLU}$ 激活，再经过一个稠密层可得到每个类别估计的数量。

4.4 Loss functions

$$L=L_{\mathrm{d}\mathrm{e}\mathrm{t}}+\frac{1}{c}\sum _{j=1}^c{L}_{\mathrm{d}\mathrm{s},\mathrm{j}}+L_{\mathrm{c}\mathrm{e}\mathrm{n}}$$
其中 $L_{\mathrm{d}\mathrm{e}\mathrm{t}}$ 为检测损失，$L_{\mathrm{d}\mathrm{s}}$为密度损失，$L_{\mathrm{c}\mathrm{e}\mathrm{n}}$ 为 CEN 损失。$L_{\mathrm{d}\mathrm{s},\mathrm{j}}$ 通过聚合所有目标类别 $c$ 和一个训练图像 $I\prime \in I$ 的 batch_size $N\prime <N$ 的 $L^2$ 正则化计算得到，记为：
$$L_{\mathrm{d}\mathrm{s}}=\frac{1}{2N^{\prime }}\sum _{i=1}^{N^{\prime }}{\Vert D_i^{\mathrm{g}\mathrm{t}}-D_i^{\mathrm{e}\mathrm{s}\mathrm{t}}\Vert }^2$$而
$$L_{\mathrm{c}\mathrm{e}\mathrm{n}}=\frac{{\lambda }_{\mathrm{c}\mathrm{e}\mathrm{n}}}{2N^{\prime }}\sum _{i=1}^{N^{\prime }}\frac{{\Vert D_i^{\mathrm{g}\mathrm{t}}-D_i^{\mathrm{e}\mathrm{s}\mathrm{t}}\Vert }^2}{D_i^{\mathrm{g}\mathrm{t}}}$$其中${\lambda }_{\mathrm{c}\mathrm{e}\mathrm{n}}\in [0,1]$ 是为了降低 $L_{\text{cen}}$ 而设置的常量，除以 $2N\prime$ 则是为了平衡样本类别数量高低的影响。

五、实验与讨论

5.1 Implementation details

  ResNet50，Faster R-CNN 和 Mask R-CNN 作为目标检测和实例分割管道，增加了候选proposals的数量，将 NMS 过滤的数量提升到 2K，此外，每幅图像的可能检测到的目标为 1K 个。${\lambda }_{\text{cen}}=0.2$，$ϵ=128$，$\alpha =3\cdot 10^{-3}$，在 50 个 epoch 之后，$\alpha$ 逐步减小为 $10^{-3}$。采用 AdamW 优化器，衰减因子为 $10^{-4}$。GT密度图利用 geometry adaptive Gaussian kernel [33] 从 box 坐标中得到。

[33] Yingying Zhang, Desen Zhou, Siqin Chen, Shenghua Gao, and Yi Ma. Single-image crowd counting via multi-column convolutional neural network. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 589–597, 2016.

5.2 Evaluation metrics

  平均绝对误差：
$${\mathrm{M}\mathrm{A}\mathrm{E}}_j=\frac{1}{N}\sum _{i=1}^N\left|Q_{i,j}^{est}-Q_{i,j}^{gt}\right|$$其中 $N$ 为测试图像的数量
  均方绝对误差：
$${\mathrm{RMSE}}_j=\sqrt{\frac{1}{N}\sum _{i=1}^N{\left(Q_{i,j}^{est}-Q_{i,j}^{gt}\right)}^2}$$其中 $Q_{i,j}^{est}$ 为第 $i$ 幅图像中对于一个类别 $j$ 的相关目标的估计数量，$Q_{i,j}^{gt}$ 为对应的 GT。此外，还有 $\mathrm{m}\mathrm{M}\mathrm{A}\mathrm{E}=\frac{1}{c}{\sum }_{j=1}^c{\mathrm{M}\mathrm{A}\mathrm{E}}_j$ 和 $\mathrm{m}\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\frac{1}{c}{\sum }_{j=1}^c{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}_j$ ，其中 $Q^{est}$ 是每个分支单独计算的结果。在检测管道中，$Q^{est,det}$ 是通过计算检测的数量得到的，$Q^{est,ds}$ 是通过整合密度分支中估计的密度图上的像素得到的。最终 CEN的输出为：
$$Q^{est,cen}=CE{N}^{est}$$

5.3 数据集

  目前并不存在公开的带有高度变化的多类别目标计数数据集，因此，利用下列常见的目标检测数据集：

• Visdrone-Det：10209张图像，10个类别，训练集6471，验证集548，评估所用测试开发集1610。
• iSaid：源于DOTA数据集，2806张高分辨率图像，有655451个目标实例，15个类别。分辨率800x800，本文仅利用其中能移动的类别：’ship’, ’car’, ’truck’, and ’plane’。
  

5.4 计数结果

5.5 Ablation Study

5.6 CEN variants

六、结论和展望

  本文提出了一种联合密度估计和目标检测的方法用于多类别目标感知计数。实验表明了在高密度图像中，密度分支的性能大于检测分支的性能，反之亦然。此外，本文表明了如何融合多个分支来提高估计的性能。同时作者认为需要有一个合适的多变的多类别目标计数数据集来推动目标计数的进步。
写在后面
  淦了一下午，终于码完字了。论文思路还是简单的，可惜没有公开源码，最后的实验部分有点看不明白，需要反复阅读原文才能窥探一二。