(论文笔记2019ICCV) Learn to Scale: Generating Multipolar Normalized Density Maps for Crowd Counting

这篇工作是发表在2019ICCV¹上的, 关于Crowd Counting的文章;
在Crowd Counting领域², 经典的方法是采用基于目标检测的框架, 以滑动窗口的形式检测人头或者人身体的一部分, 但是随着人数越来越密集, 人与人之间的遮挡问题越来越严重, 造成基于检测的方法效果越来越差;
在现代的Crowd Counting主流方法中, 基本都是采用基于回归的方法, 通过学习特征图到人群数量的映射, 分为两个阶段, 第一个阶段是将原图提取为特征图, 第二阶段是学习一个将特征图映射为人群数量的回归模型, 例如线性回归, 岭回归, 高斯过程回归等函数.

文章思想

如图2, 文章的idea比较简单, 就是模仿人在标记样本的过程, 如果是人头比较稀疏的地方, 可以直接在脑袋上点一个点就行标记; 但是如果是人数比较密集的区域, 我们人一般会先放大这个区域, 然后再进行人头标记;

本篇文章也是依据与回归的方法提出了一点改进, 文章的idea分为两步:

• 第一步是将原图输入到Scale Preserving Network, 生成初始的Density maps; 然后将每一张density maps划分为8x8的图片补丁, 并根据density level划分得到K groups;
• 第二步, 通过对每一个patch学习一个放缩因子, 对patch的密度中心进行放缩; 最后将所有的patch 连接成KxK的密度图;

那么问题的关键回到了, 如果预测这个缩放系数和缩放的中心上?

学习到每个patch的中心和缩放因子的关键就在MPCL上:

• 首先作者对每张图随机设定一个中心$d_c$, 然后通过center loss 迭代出中心的位置和缩放因子的大小;
• 迭代公式如下:
  
  公式中, $d_c$表示图像的中心位置, $n_c$表示图像的数量, $D_i^c$表示平均密度图, $\alpha$表示学习率的大小.

提问: 什么是center loss?
Center loss 是一个发表在ECCV2016年上关于face recognition的论文; 核心思想是, 扩大类间距离, 缩小类内距离;
损失函数的公式如下:

$c_{yi}$表示类别为yi 的中心;

结果展示

Ref

---

1. Learn to Scale: Generating Multipolar Normalized Density Maps for Crowd Counting [paper] ↩︎

2. Crowd Counting综述 [blog] ↩︎