车辆计数--FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras

FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras
ICCV2017
https://arxiv.org/abs/1707.09476

利用监控相机来完成车辆计数，FCN+LSTM，使用 residual learning 将两者联系起来。FCN for pixel-level prediction and the strengths of LSTM for learning complex temporal dynamics

监控相机得到的视频具有以下几个特点：
1） Low frame rate 低帧率 1 fps to 0.3 fps
2）低分辨率 352 × 240, 320 × 240 or 704 × 480
3）高遮挡 特别是交通拥堵时
4）Large perspective 导致车辆尺度范围大
以上四个特点导致用这些视频来进行车辆计数难度较大。

3 FCN-rLSTM for vehicle counting
这里我们采用 FCN 将 dense (pixel-level) feature 映射为 车辆密度，避免了单个车辆的检测或跟踪。基于 FCN的密度估计 可以让我们输入任意分辨率的图像，输出车辆密度图和输入图像尺寸一样大小。当前基于密度的计数方法直接对密度图求和得到总数。这么做误差比较大，因为 large perspective and oversized vehicles (big bus or big truck)，所以我们提出了 FCN-rLSTM network 来提高计数精度

3.1. FCN-rLSTM Model & Network Architecture

To accelerate training, FCN and LSTM are connected in a residual learning fashion as illustrated in Figure 4

3.2. Spatio-Temporal Multi-Task Learning
这里首先介绍了怎么生成训练样本的真值密度图，和人群计数的方法是一样的。 2D Gaussian kernels
接着定义了损失函数，包括两个部分

4 Experiments
Different configurations of FCN-rLSTM

Results comparison on WebCamT

Results comparison on TRANCOS dataset

Estimated density map for multiple cameras

Results comparison on UCSD dataset