CVPR 2021 用于动作识别，即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition

CVPR 2021 | 用于动作识别，即插即用、混合注意力机制的 ACTION 模块

 

        分享一篇来自 CVPR 2021 的文章，ACTION-Net: Multipath Excitation for Action Recognition。作者单位：都柏林圣三一大学，字节跳动 AI Lab。

论文中提出一个即插即用的混合注意力机制的 ACTION 模块用于时序动作识别 (比如手势)。该模块包含了时空注意力，信道注意力和运动注意力。

详细信息如下： 

 

• 论文链接：https://arxiv.org/abs/2103.07372

• 项目链接：https://github.com/V-Sense/ACTION-Net

 

 

      01      三个注意力机制模块
 

时空注意力 (Spatial-Temporal Excitation: STE)：通过对所有信道做一个global average pooling，能够用一个单信道的3x3x3的3D卷积得到一个单信道的时空attention map，这使得能够用非常小的计算量来得到一个时空attention map。用这个attention map再点乘输入的feature得到相对应被时空信息激发的特征。
 

信道注意力 (Channel Excitation: CE)：这个block是基于SE-Net的SE block。但因为视频动作中含有时序信息，所以在信道的squeeze和unsqueeze之间插入了1D在时域上的卷积来增强信道在时域上的相互依赖程度。和SE一样，可以得到一个基于信道的attention map。和STE一样，用得到的 attention map 点乘输入的feature的信道激发特征。
 

运动注意力 (Motion Excitation: ME)：ME在之前的工作如STM和TEA都有采用。主要是描述每相邻两帧之间动作的移动，这一点和optical flow很像。采用和之前工作中的ME结构并把它作为一个分支和之前提到两个block并联得到ACTION模块。
 

 

      02      ACTION模块
 

ACTION模块是由以上提到的三个注意力模块并联而成。这个模块和之前的工作TSM一样，即插即用。在和state-of-the-art的方法比较中，backbone采用了和之前工作相同的ResNet-50作为比较。同时，以TSN和TSM为baseline测试了ACTION在不同backbone (ResNet-50, MobileNet V2, BN-Inception) 上的性能。
 

 

      03      

Experiments
 

实验分别用了三个侧重于时序动作的视频数据集: Something-Something V2, Jester, EgoGesture 来测试提出的 ACTION 模块。

 

3.1Comparison to State-of-the-Art

 

从下表中可以看出 ACTION 在 Jester 和 EgoGesture 上面的表现还是十分优越的，都取得了 state-of-the-art 的效果。在 Something V2 的数据集上面相比较 STM 和 TEA 也取得了很相近的效果。

但值得注意的是，STM 和 TEA 都是分别针对于 ResNet 和 Res2Net 设计的，而 ACTION 是一个即插即用的模块，不会受限于 backbone 种类。据悉作者会在之后展示在 MobileNet V2 和 BN-Inception 上的效果。
 

3.2Ablation Studies

• 不同 path 增加的计算量，参数以及效果提升

 

• ACTION 模块在不同 backbone 相较于 baseline 的一个效果提升

 

• ACTION 模块在不同 backbone 上对于不同数据集的一个效率

定义了一个效率系数来量化 ACTION 模块相对于 TSM 每提高 1% 的 Top-1 准确率所需增加的额外计算量。越低代表效率越高。下图展示了 ACTION在三个不同数据集上对于三个 backbone 的效率。可以看到 ACTION 在MobileNet V2 上的效率最为明显。类似的，在 Something-Something V2 上的效率相较于另外两个数据集要高。