人群计数 MCNN 解析 PGCNet

人群计数研究的发展

传统的：直接回归计数法--- input(图片)——>outout(人数)  参考

目前深度学习主流的： input(图片)——>output(密度图)——>估计人数

为什么不基于深度学习的目标检测、原因是目标检测对于密集对象与超小目标对象很难正确识别与准确计数。无法正确给出密集人群的模型与聚集程度。进展 | 密集人群分布检测与计数_Dataset

首先对于这个新的细分领域的深度学习可以从这篇文章入门开始：

人群计数：从MCNN开始谈起~ - 知乎

人群计数--MCNN的另外一种解读

1. 标签是怎样的？人群计数里面的标签就是密度图 参考

2. 数据集标注的一个过程？

两部分，1.人群图像标注表示；2.人群图像标注转换为人群密度图。

制作标签密度图的过程，参考一，参考二, 参考三，参考四

3. 模型应该学习什么东西。输入图片，和输出密度图之间的映射关系。

4 Q：语义分割和人群计数非常类似，能不能直接用一些分割网络呢？参考
A：二者同属于逐像素任务，前者为逐像素分类(交叉熵)，后者为逐像素回归（均方误差MSE）。

输出是一张密度图，那如何得到我区域里的人头数量呢？

人群计数就是对输出的密度图进行积分计算，也就是。

对密度图逐像素求和。代码参考

人群密度估计之MCNN_年轻即出发，-CSDN博客_mcnn代码实现

• qiu_112018.08.20

  你好，我想问一下，如何从density map得到the number of persons ？？

• • sqiu_11回复watersink2018.08.20

    多谢，其实zhangyingying的这篇文章里面提到了，刚看到

  • watersink作者回复sqiu_112018.08.20

    根据密度图算出来的，但是前提是需要训练数据充足，得到的结果也可以，或者可以从网络层面，专门接入一个全连接进行回归，得到人数，王小刚老师有这样的论文，可以学习

PGCNet 核心思想：

        以前的人群密度估计对近大远小的人头泛化性不是很好，因为是固定的卷积核大小，但是实现卷积核大小尺寸的改变是比较困难的，PGCNet的作者通过一种变通的方法，即先用PENet得到一张透视图，根据透视图来改变不同区域高斯核大小来达到卷积核对人头感受野可变的问题，从而提高人群密度估计的准确率，事实上作者团队经过和以前的人群估计算法的比对，准确率比2016年经典的MCNN算法高达三倍，

我们在实际测试的时候，

通过设置高斯核大小等的初始化超参数，采用通过论文作者提供的预训练模型，采用warmup + ReduceLROnPlateau的策略，然后一开始用较大的学习率+ Adam优化器训练 50 多个epoch，后用SGD优化器 + 小的学习率 调整了15个epoch，最终达到比原论文高0.1个百分点的模型，

之所以能比原作者效果更好，通过对人群估计这一任务的理解，我认为是我们的实际场景透视场景固定， 而原论文数据集里的透视场景复杂，而透视场景是影响这一任务效果的关键，后来通过和原作者之一沟通，我的猜想得到了他的肯定，透视场景基本上是现在影响人群密度估计最大影响因数之一。

• 优化器（SGD,带动量的优化器，或者Adam等）

• 学习率优化：ReduceLROnPlateau(监控某一个参数，当该参数不再上升或下降就进行学习率调整。)

• 学习率优化：ReduceLROnPlateau

• 学习率优化：ReduceLROnPlateau

• 学习率优化：ReduceLROnPlateau

• 学习率优化：ReduceLROnPlateau

PENet 是一个类似于UNET的encoder—decoder的算法模块，输入图片，输出是一张带有透视信息的密度图。

【学习笔记】Pytorch深度学习—学习率调整策略 - Selena白桃 - 博客园