学习总结《Actional-Structural Graph Convolutional Networks for Skeleton-based Action Recognition》

本篇论文被CVPR2019收录

 

本文亮点:
1. 我们提出了一个A-link推理模型(AIM)来推测可捕获特定动作的潜在关系的actional-links.   这个 actional link 和structural links结合成为广义骨架图.
2. 我们提出了动作-结构图卷积网络(AS-GCN)基于多个图来提取有用的空间和时间信息;
3. 我们引入了一个额外的未来姿态预测头来预测未来的姿态,这个预测头通过提取更多的细节行为模式来提高识别的效果.
4. 本文提出的AS-GCN在两个大型数据集的表现优于很多现在比较先进的方法;     在另一方面,AS-GCN也能够精确地进行未来姿态的预测;

 

         本篇文章可以说是《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》提出ST-GCN后，对ST-GCN的一个较大的改进，都是利用图卷积网络进行行为识别。不同的是ST-GCN仅仅关注于18个关节点的骨架图上物理相邻关节点之间的关系。而本文在前者的基础上不但关注了物理相邻的关节点，而且更加注重在物理空间上不相邻关节点之间的依赖关系。

         上图就是从一个视频序列中利用本文中新提出的Action-links和Structural-links提取的骨架信息的一个表示。图中节点与节点之间连接的黄线表示人体物理上位置未直接相邻的节点之间存在的依赖性关系。黄线越粗，则这两个节点之间的关系就越强，而节点上红色的圈则代表当前状态下，这一关节点运动的强烈程度，红色圈越大颜色越深，则该节点当前的运动就越强烈。

 

      上图便是本文所提出的网络AS-GCN，

在网络的后半部分并行为分两个分支，上面的分支功能为行为识别，下面的功能为行为预测，在预测分支中本文创新性的引入了Action-links inference moudle (AIM)。 AIM由一个编码器和一个解码器构成通过对两个节点之间的Action-link(即就是潜在的隐性依赖关系)的推断，并以此来预测未来节点的位置，即进行未来行为预测。将上一时刻节点的关系数据放进编码器先进行编码，然后再解码器进行解码的一个过程。

AIM加上之后不仅能够对未来的行为进行预测，而且能够有效的提高行为识别的准确率(猜测应该是反向训练过程中起的作用) , 有下面的表格可以看出网络在加AIM相比于不加的，准确率有约1%的提高。

 下面这一部分是AS-GCN的预测行为与实际行为之间的比对。