然而,现有的大多数模型只利用给定的空间邻接矩阵对图进行建模,并且在对邻接矩阵进行建模时忽略了节点之间的时间相似性。
STGCN扩张率增加,可能会丢失局部信息。
STSGCN(Song等人2020)尝试通过局部化的时空同步图形卷积模块将空间块和时间块结合在一起,而不考虑全局相互影响。
该融合图包含了每个节点与其(1)空间相邻节点、(2)具有相似时间模式的节点以及(3)在时间轴上具有先验或后继情况的节点的关联信息。
fast-DTW:通过限制搜索长度的DTW,根据时间序列的相似性生成时序图。(限制长度可以降低DTW的复杂度)
经过 i 和 j 的多次迭代后, d i s t ( X , Y ) = M c ( n , m ) 1 / 2 是 X 和 Y 之间的最终距离,可以代表两个时间序列之间的相似性。 经过 i 和 j 的多次迭代后,dist(X, Y) = Mc(n,m)^{1/2} 是 X 和 Y 之间的最终距离,可以代表两个时间序列之间的相似性。 经过i和j的多次迭代后,dist(X,Y)=Mc(n,m)1/2是X和Y之间的最终距离,可以代表两个时间序列之间的相似性。
DTW算法如下:
图 3(b) 是时空融合图的示例。它由三种 N × N 矩阵组成:
空间图 ASG 由数据集给出,时序图 ATG 由 Alg.1 生成的时序图 ATG,以及时序连接图 ATC,如果上一个时间步骤和下一个时间步骤是同一个节点,则 ATC 的元素为非零。
A T G A_{TG} ATG表示同一节点在接近时间步长的连接。
X G ( t ) X_G^{(t)} XG(t)代表时间步长t的空间图形信息G的观测,包含d个特征信息(速度、体积)
STFG的输入数据:
本文将图卷积中的拉普拉斯等正则谱滤波代之以一种更简单、更省时的运算:矩阵乘法。网络中的每个节点通过与ASTFG的多次矩阵相乘,可以聚合来自ASG的空间相关性、来自ATG的时间模式相关性以及来自ATC的自身最近相关长时间轴。
时空融合图网络的详细框架。
(a) 是时空融合图的输入示例,它将沿时间轴迭代生成。
(b) 是时空融合图的示例,其大小 K 分别为 4 和 3。它由三种邻接矩阵∈ N × N 组成:空间图 ASG、时间图 ATG 和时间连接图 ATC。红色圆圈内的 ATC 将以人体为例。
© 是 STFGNN 的整体结构,其 Gated CNN 模块和 STFGNN 模块是并行的。
(d) 是时空融合图模块的详细结构,每个模块都将根据 (a) 中并行迭代生成的输入进行独立训练。
a:时空融合图的按照每个时间分割成一个图
b:在每次矩阵乘法中,对角线中间的 ASG(对应于裁剪后的连接位置)传输来自空间相邻节点的信息。水平和垂直方向上的 ATC 沿时间轴为每个节点提供各自的信息。角上的 ATG 增强来自具有相似时间模式的节点的信息。
c:每个STFGN并行处理,提高效率。每个STFGN输出的并集与CNN门控输出相加,作为下一个STFGN的输入。
d:通过STFG提取隐藏状态,通过堆叠 L 个图乘法块,可以汇总更复杂的非本地空间依赖关系,每个图块引入残差连接。最大池化将对每个隐藏状态的连接进行操作,与中间时间步长相对应的特征集合将被剪切
图乘法块公式如下:
h l 表示第 l 个隐藏状态, A 、 W 、 b 都是门控线性单元的参数, ⊙ 是哈达玛积, σ 是 s i g m o i d 激活函数 h^l 表示第 l 个隐藏状态,A、W、b都是门控线性单元的参数,\odot是哈达玛积,\sigma 是sigmoid激活函数 hl表示第l个隐藏状态,A、W、b都是门控线性单元的参数,⊙是哈达玛积,σ是sigmoid激活函数
隐藏状态结果拼接进行最大池化操作:
剪切掉中间时间步长相对应的特征
$ A_{STFG} $ 整合 $ A_{TG} $ 包含全局信息,但是包含的相关性更多来自于远处的结点,使用大扩张率的扩张卷积(大空洞卷积)。
它可以沿时间轴扩大接受滤波,从而增强模型提取顺序依赖关系的性能。
ϕ ( ⋅ ) 和 σ ( ⋅ ) 是 t a n h 和 s i g m o i d 激活函数, Θ 1 和 Θ 2 是两个独立的一维卷积运算,空洞率 K − 1 \phi(\cdot)和 \sigma(\cdot) 是 tanh 和 sigmoid激活函数,\Theta_1和\Theta_2是两个独立的一维卷积运算,空洞率 K-1 ϕ(⋅)和σ(⋅)是tanh和sigmoid激活函数,Θ1和Θ2是两个独立的一维卷积运算,空洞率K−1
H u b e r 损失函数 Huber损失函数 Huber损失函数
通过与 STFGN 模块和新颖的 Gated CNN 模块的整合,STFGNN 可以同时学习局部时空异质性和全局时空同质性。
用的自己构建的图,类似于各种时空图模型拼接。