SlowFast Networks for Video Recognition速读笔记

(一) Title

(二) KeyPoints

提出结合使用slow pathway和fast pathway。

• slow pathway 慢帧率,主要关注空间信息

  从图像或者稀疏的帧中提取语义信息

• fast pathway减少通道数,lightweight,快帧率,更多地关注动作随时间的变化信息

  时间速率很快,轻量级,较弱的处理空间信息的能力。不需要temporal pooling

快慢结合带来了检测结果上的提升。

(三) Method

本文主要包括3部分内容,首先是slow pathway,接着是fast pathway,最后是两个pathway输出的连接方式。

3.1 Slow Pathway

• 可以使用任意的卷积模型
• 有较大的时间步长,temporal stride。通常1s采集两帧。
• 图片采样间隔$\tau =16$，也就是每16张中取一张进行检测

3.2 Fast Pathway

• 图片采样间隔为$\tau /\alpha$,其中$\alpha =8>1$
• 不采用tempora downsampling,保持较高的分辨率
• 低通道容量,和慢速通道具有类似的卷积网络,不过通道数比例为慢速路径的$\beta =1/8$,慢速路径的的参数占总参数的20%。

3.3 two pathways fuse

通过lateral connections实现两个网络的连接,这个在双流法中验证过的。用于合并不同级别的语义信息。
这里在$poo{l}_1$,$re{s}_2$,$re{s}_3$,$re{s}_4$之后进行了连接

lateral connections的方式：

slow pathway特征图尺寸: $\left\{T,S^2,C\right\}$
fast pathway特征图尺寸: $\left\{\alpha T,S^2,\beta C\right\}$

• Time-to-channel
  将fast pathway的$\left\{\alpha T,S^2,\beta C\right\}$reshape到$\left\{T,S^2,\alpha \beta C\right\}$上,也就是将快速路径的$\alpha$帧合并成1帧。
• Time-stride sampling
  将fast pathway的$\left\{\alpha T,S^2,\beta C\right\}$reshape到$\left\{T,S^2,\beta C\right\}$上，$\alpha$帧中采样1帧。
• Time-strideed convolution(这种方式的消融结果较好)
  用一个$5\times 1^2$大小,输出通道数为$2\beta C$的3D卷积核处理快速路径,步长为$\alpha$。

(四) Notes

4.1 怎么理解加入快慢机制呢?

在进行行为识别时,通常对称地看待两个空间的维度x和y,也就是在x和y方向上是各向同性的。
然而,视频信号中,正因为时序信息的引入才有的动作，而且大部分的动作在时间方向上的重要性是不统一的。
因此,需要分别考虑时序信息和空间信息。出现了快慢结合的这种方式,分别关注时序和空间特征。