基于骨架的动作识别时空图路由方法

Spatio-Temporal Graph Routing for Skeleton-Based Action Recognition

paper: https://www.aaai.org/ojs/index.php/AAAI/article/view/4875/4748

基于骨架的动作识别时空图路由方法

现有的许多方法通常依赖于固定的骨架结构物理连通进行识别，这不能很好地捕捉到骨架关节之间的内在高阶相关性。本文提出了一种新的基于骨架的动作识别时空图路由(STGR)方案，该方案自适应地学习物理上分离的骨架关节的内在高阶连通性关系。具体而言，该方案由空间图路由器(SGR)和时间图路由器(TGR)两部分组成。SGR的目标是基于空间维度上的子群聚类来发现关节之间的连通关系，而TGR则通过测量时间关节节点轨迹之间的关联度来探索结构信息。

在复杂的场景中捕捉多变的人体结构是一个挑战，带来了三方面的问题：
1）骨架本身是可变的，并且依赖于特定的数据集，例如NTURGB+D中的25个关节而Kinetics中有18个关节，导致对真实人体骨骼的混淆；
2）关节连接的高度不平衡性。当躯干关节过度平滑时(使得其学到的特征没有差异性），肢体关节可能仍然处于欠平滑状态，这给两个肢体关节的特征共享带来极大困难；
3）对每个样本应用全局图结构，提出了“一刀切”的问题，这可能是次优的。
在固定图的情况下，数据流被限制在预定义的条目中，这大大降低了模型的灵活性。 类似于计算机网络，我们将其称为“静态路由”。
相比之下，我们更注重寻求更灵活的连接方案，它针对特定的样本自适应地学习骨架关节之间固有的高阶连通性，称为“动态路由”。

贡献可以总结如下：

• 我们提出了一种新的时空图路由方案，用于利用骨骼关节之间固有的高阶关系。 该模块与分类网络联合学习，更好地匹配动作识别任务。

• 我们在图节点上提出了感受野，证明了以前模型的瓶颈是不同节点的感受野的不平衡，从而说明了该时空图路由方案的有效性。