论文笔记-Vertex Feature and Hierarchical Temporal Modeling in a Spatial-Temporal Graph Convolutional Net

今天是论文阅读计划的第三天啦，为大家送上一篇论文略读笔记，看了主要部分，但不是精读扣细节。略读时主要是看看别人用了什么方法处理了什么东西解决了什么问题，收集点子，

一、解读论文题目关键词

Vertex Feature、Hierarchical Temporal Modeling，一个是针对顶点特征的，一个是针对时序信息建模的。

二、研究背景

本文是基于ST-GCN来做的改进，也是对ST-GCN的改进版AS-GCN的改进。关注了ST-GCN中对于原骨架信息编码以及时序建模的不足，分别对其进行了改进。

三、研究目标

• 对顶点进行编码，提取顶点特征
• 对时序信息进行空洞卷积有层次的建模，提取短期和长期的时间依赖关系 改进模型大小

四、方法

整体模型图：

顶点特征编码：

具体结构展示：

五、实验结果

性能对比：

六、结论

在这篇文章中，两个新的基于GCN的方法模块被提出，称为GVFE和DH-TCN。这些模块能够减少所需的块和参数的数量，同时保持几乎相同或提高识别精度。GVFE不是依赖原始骨架特征，如骨架关节，而是以端到端的方式学习和生成图形顶点特征。为了同时对长期和短期相关性进行建模，DH-TCN使用了分层扩展时间卷积层。由于在两个众所周知的数据集上取得的性能，这些模块的相关性得到了确认。一些未来的扩展正在考虑之中，例如应用一个类似的分层模型来代替空间图卷积层。

七、总结

本文可以学到的是：

• 如何对骨架的信息进行编码，可以思考是否有其他的编码方式。
• 采用层次结构来提取时序信息。
• 合理调整网络结构的宽度和深度。