论文解读《Top-Down Feedback for Crowd Counting Convolutional Neural Network》AAAI2018

Top-Down Feedback for Crowd Counting Convolutional Neural Network

用于人群计数的自顶向下的反馈卷积神经网络
Deepak Babu Sam, R. Venkatesh Babu

摘要：

1.原因：
large variability in appearance of people人群呈现的巨大变化

Often people are only seen as a bunch of blobs. Occlusions, pose variations and background clutter further compound the difficulty.遮挡、人群位置变化、背景杂乱

Identifying a person requires larger spatial context and semantics of the scene
确认一个人物需要更大的空间背景（上下文）和语义场景
2.提出Top-Down Feedback
Our architecture consists of a bottom-up CNN along with a separate top-down CNN to generate feedback. The bottom-up network, which regresses the crowd density map, has two columns of CNN with different receptive fields. Features from various layers of the bottom-up CNN are fed to the top-down network. The feedback, thus generated, is applied on the lower layers of the bottom-up network in the form of multiplicative gating. This masking weighs activations of the bottom-up network at spatial as well as feature levels to correct the density prediction.

我们的架构由一个自底向上的CNN和一个单独的自顶向下的CNN组成，以生成反馈。自底向上的网络有两列接受域不同的CNN，回归了人群密度图。自底向上的CNN的各个层的特征输入到自顶向下的网络。由此产生的反馈以乘性门控的形式应用于自底向上网络的较低层。这种掩藏在自底向上网络的空间和特征层面上权重激活，可以以修正密度预测。

引言：

贡献
• A generic architecture to deliver top-down information in the form of feedback to the bottom-up network.
一个通用的架构，以反馈的形式将自顶向下的信息传递给自底向上的网络。

• A crowd counting system that uses top-down feedback framework to correct its density predictions.
使用自顶向下的反馈框架的人群计数系统修正产生的密度预测。

相关工作：

方法：

网络图：

（a）自底向上CNN（b）自顶向下CNN产生反馈信息（c）自底向上CNN使用反馈的门特征重计算预测人数

用于训练自顶向下网络的展开计算图。自顶向下的CNN利用自底向上的CNN的特征产生反馈信息，使自底向上的网络能够被重新评估。因此，自底向上的CNN在计算图中出现了两次，损失是根据修正后的预测来计算的。只更新了自顶向下CNN的参数。彩色效果最佳。



LC是上图中的count loss，λ是一个常量乘数用来检查损失的量级
L2损失，SGD优化，MCNN的数据增强

The top-down network is trained by back propagating the loss incurred by the estimated density after applying feedback. While training, only the parameters of the top-down network are updated. The parameters are updated so as to reduce the count error of the final prediction.

该自顶向下网络通过反向传播损失进行训练，这个损失是在采用反馈的信息后进行密度估计时产生的损失。训练时，只更新自顶向下网络的参数。对参数进行更新，以减少最终预测的计数误差。
先使用L2损失训练bottom-up CNN，得到的参数固定不变，然后整个网络（bottom-up和top-down）使用LC损失训练top-down CNN。

We also add l1 regularizer to the loss function to impose sparse activations for the feedback gate features. This aids the top-down network to train effectively and allows only relevant features to be active.

在损失函数LC中加入l1正则化器，对反馈的门特征进行稀疏激活。这有助于自顶向下的网络进行有效的训练，并且只允许相关功能处于活动状态。所以最终训练top-down CNN的损失函数是：

实验结果：