【论文笔记】CVPR2020 Skeleton-Based Action Recognition with Shift Graph Convolutional Network

用图卷积做action recogntion

Contribution

• 提出了shift-GCN（spatial shift graph operations & temporal shift graph operations）that exceeds the state-of-the-art methods with more than 10× less computational cost，主要解决了过去工作的两个问题
  1. heavy computational complexity of GCN-based methods
  2. inflexible and predefined receptive fields of both spatial graph and temporal graph

Methods

作者灵感来源是shift-CNNs，分别就 spatial GCN 和 temporal GCN 提出新的想法，各自提了2个：

• two kinds of spatial shift graph operation
  

  1. local shift graph operation
     让physically-connected nodes 之间进行信息shift，然后再用1x1conv 来进行channel与channel之间的信息融合和升维降维。
     这样做的缺点是：receptive field已经predifine好了，无法model不存在物理连接的节点的关系；由于每个node的邻居节点数目不一样，会导致一些feature被abandon了 （这里没太懂，用等量的信息交换回来不就不会有feature被abandon了么，回头学习下shift-CNN是怎么回事）。

  2. non-local shift graph operation
     如上图所示。规定了一个类似螺旋式的shift方法，每个node都能收获到其他所有nodes的信息。
     为了model任意两个node之间的关系的重要性，提出了一个learnable mask来过滤shifted features.
     

• two kinds of temporal shift graph operation

  1. naive temporal shift graph operation
     类似shift-CNN的方法。
     
     问题是：这里的u需要人为设定，在不同layer和dataset都有不同的需求。

  2. adaptive temporal shift graph operation
     每个channel都设定了learnable temporal shift parameter，让网络去学习shift的程度。

Results

在数据丰富的 NTU 的 数据上，accuracy有略微的提升，但是在cost上减少了非常多。