CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition

CVPR 2021 | 用于动作识别,即插即用、混合注意力机制的 ACTION 模块

 

        分享一篇来自 CVPR 2021 的文章,ACTION-Net: Multipath Excitation for Action Recognition。作者单位:都柏林圣三一大学,字节跳动 AI Lab。

论文中提出一个即插即用的混合注意力机制的 ACTION 模块用于时序动作识别 (比如手势)。该模块包含了时空注意力,信道注意力和运动注意力。

详细信息如下: 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第1张图片

 

  • 论文链接:https://arxiv.org/abs/2103.07372

  • 项目链接:https://github.com/V-Sense/ACTION-Net


 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第2张图片

 

      01      三个注意力机制模块
 

时空注意力 (Spatial-Temporal Excitation: STE):通过对所有信道做一个global average pooling,能够用一个单信道的3x3x3的3D卷积得到一个单信道的时空attention map,这使得能够用非常小的计算量来得到一个时空attention map。用这个attention map再点乘输入的feature得到相对应被时空信息激发的特征。
 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第3张图片


信道注意力 (Channel Excitation: CE):这个block是基于SE-Net的SE block。但因为视频动作中含有时序信息,所以在信道的squeeze和unsqueeze之间插入了1D在时域上的卷积来增强信道在时域上的相互依赖程度。和SE一样,可以得到一个基于信道的attention map。和STE一样,用得到的 attention map 点乘输入的feature的信道激发特征。
 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第4张图片


运动注意力 (Motion Excitation: ME):ME在之前的工作如STM和TEA都有采用。主要是描述每相邻两帧之间动作的移动,这一点和optical flow很像。采用和之前工作中的ME结构并把它作为一个分支和之前提到两个block并联得到ACTION模块。
 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第5张图片

 

      02      ACTION模块
 

ACTION模块是由以上提到的三个注意力模块并联而成。这个模块和之前的工作TSM一样,即插即用。在和state-of-the-art的方法比较中,backbone采用了和之前工作相同的ResNet-50作为比较。同时,以TSN和TSM为baseline测试了ACTION在不同backbone (ResNet-50, MobileNet V2, BN-Inception) 上的性能。
 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第6张图片

 

      03      

Experiments
 

实验分别用了三个侧重于时序动作的视频数据集: Something-Something V2, Jester, EgoGesture 来测试提出的 ACTION 模块。

 

3.1Comparison to State-of-the-Art

 

从下表中可以看出 ACTION 在 Jester 和 EgoGesture 上面的表现还是十分优越的,都取得了 state-of-the-art 的效果。在 Something V2 的数据集上面相比较 STM 和 TEA 也取得了很相近的效果。


但值得注意的是,STM 和 TEA 都是分别针对于 ResNet 和 Res2Net 设计的,而 ACTION 是一个即插即用的模块,不会受限于 backbone 种类。据悉作者会在之后展示在 MobileNet V2 和 BN-Inception 上的效果。
 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第7张图片

3.2Ablation Studies

  • 不同 path 增加的计算量,参数以及效果提升

 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第8张图片

  • ACTION 模块在不同 backbone 相较于 baseline 的一个效果提升

 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第9张图片

  • ACTION 模块在不同 backbone 上对于不同数据集的一个效率

定义了一个效率系数来量化 ACTION 模块相对于 TSM 每提高 1% 的 Top-1 准确率所需增加的额外计算量。越低代表效率越高。下图展示了 ACTION在三个不同数据集上对于三个 backbone 的效率。可以看到 ACTION 在MobileNet V2 上的效率最为明显。类似的,在 Something-Something V2 上的效率相较于另外两个数据集要高。 

 

CVPR 2021 用于动作识别,即插即用、混合注意力机制的 ACTION 模块ACTION-Net: Multipath Excitation for Action Recognition_第10张图片

 

 

你可能感兴趣的:(计算机视觉,动作识别)