Temporal Extension Module for Skeleton-Based Action Recognition

Temporal Extension Module for Skeleton-Based Action Recognition

作者 | Yuya Obinata and Takuma Yamamoto
单位 | FUJITSU LABORATORIES LTD
论文地址｜ https://arxiv.org/abs/2003.08951
ICPR2020

在st-gcn的基础上开发了一个模块，在帧与帧之间相邻的关节点之间也添加连接，好处在于和其他网络结合起来很方便，对于性能也有一定的提高

但其实很多sota的模型都已经考虑过帧间关节点的链接，同时扩展到了多个尺度，不仅仅是帧间邻居关节点相连

方法

提出了一个用于基于骨架的动作识别的的时域扩展模块

现有的方法试图在帧内表示更合适的空间图，但忽略了帧间时间图的优化

具体来说，这些方法只连接帧间同一关节对应的顶点。在这篇论文中，着重于在帧间添加与相邻多个顶点的连接

是提取人体运动中多个关节的相关特征的一种简单而有效的方法

主要贡献如下

• 提出了一个时间扩展模块，用于帧间时态图的扩展。该模块在提取人体运动中连接的多个相邻关节的相关特征时简单而有效。
• 在消融实验中的展示了TEM有效性
• 达到了SOTA

相关工作

时空图卷积网络（ST-GCN）是第一个使用GCN对骨架序列进行动作识别的方法

ST-GCN包括一个空间图和一个时间图，直接输入一个骨架序列，并从帧内和帧间的关节处提取特征

在这项工作中，着重于扩展时间图，连接相邻的多个顶点以及帧间（右）上的同一个顶点。在帧内提出了更合适的空间图，性能得到了显著提高。然而，这些方法忽略了帧间时间图的优化

传统的GCN方法将只对应于同一关节的顶点之间的时间维连接起来，该方法对于提取同一关节轨迹特征具有一定的效果，然而，由于过于简单不太能够提取帧间各关节间相关运动的特征

研究目标
优化空间图和时间图，以进一步提高性能
TEM模块不仅直接将边添加到同一个顶点，而且还直接向相邻的多个顶点添加边，并基于帧间相同的多个顶点计算卷积

时间扩展模块

在ST-GCN中加入了这个方法的模块，ST-GCN包括多层时空图卷积操作，将TEM放在空间卷积和时间卷积层中

以同样的方式很容易地TEM模块实现到基于时空图卷积的网络中

实验

加上这个模块后有一定的性能提升