GCN论文阅读与代码梳理（1）——AGCRN
传统基于GCN的流量预测需要通过距离或相似度定义邻接矩阵，预先定义的图不能包含关于空间依赖性的完整信息，与预测任务没有直接关系，这可能导致相当大的偏差。此外，如果没有适当的知识，这些方法无法适用于其他领域，使得现有的基于GCN的模型失效。因此，提出了DAGG进行图的自适应学习。
通过两个自适应模块来增强GCN，以完成交通预测任务:
-
Node Adaptive Parameter Learning (NAPL) module（节点自适应参数学习方法）:
-
Data Adaptive Graph Generation (DAGG) module（数据自适应图生成）：
在AGCRN中，采用切比雪夫多项式逼近拉普拉斯矩阵，以实现图卷积功能。切比雪夫不等式：
在消融实验中，发现移除单位矩阵极大的降低了预测性能，这说明在预测中突出self-information十分重要。而二阶与一阶的性能差别不大。
相应代码如下：
# class AVWGCN
def forward(self, x, node_embeddings):
# x shaped[B, N, C], node_embeddings shaped [N, D] -> supports shaped [N, N]
# output shape [B, N, C]
node_num = node_embeddings.shape[0]
supports = F.softmax(F.relu(torch.mm(node_embeddings, node_embeddings.transpose(0, 1))), dim=1) # 矩阵相乘
support_set = [torch.eye(node_num).to(supports.device), supports]
# default cheb_k = 3
for k in range(2, self.cheb_k): # cheb_k为切比雪夫多项式阶数
support_set.append(torch.matmul(2 * supports, support_set[-1]) - support_set[-2])
supports = torch.stack(support_set, dim=0)
weights = torch.einsum('nd,dkio->nkio', node_embeddings, self.weights_pool) # N, cheb_k, dim_in, dim_out
bias = torch.matmul(node_embeddings, self.bias_pool) # N, dim_out
x_g = torch.einsum("knm,bmc->bknc", supports, x) # B, cheb_k, N, dim_in
x_g = x_g.permute(0, 2, 1, 3) # B, N, cheb_k, dim_in
x_gconv = torch.einsum('bnki,nkio->bno', x_g, weights) + bias # b, N, dim_out
return x_gconv-
提出了Adaptive Graph Convolutional Recurrent Network，包含NAPL-GCN, DAGG, and Gated Recurrent Units (GRU)
相应代码如下：
# class AGCRNCell
def forward(self, x, state, node_embeddings):
#x: B, num_nodes, input_dim
#state: B, num_nodes, hidden_dim
state = state.to(x.device)
input_and_state = torch.cat((x, state), dim=-1)
z_r = torch.sigmoid(self.gate(input_and_state, node_embeddings)) # self.gate即AVWGCN模块
z, r = torch.split(z_r, self.hidden_dim, dim=-1)
candidate = torch.cat((x, z*state), dim=-1)
hc = torch.tanh(self.update(candidate, node_embeddings))
h = r*state + (1-r)*hc
return hGRU相应代码如下：
# class AGCRN
def forward(self, source, targets=None, teacher_forcing_ratio=0.5):
# source: B, T_1, N, D
# target: B, T_2, N, D
# supports = F.softmax(F.relu(torch.mm(self.nodevec1, self.nodevec1.transpose(0,1))), dim=1)
init_state = self.encoder.init_hidden(source.shape[0]) # encoder为基于GCN的GRU，迭代预测
output, _ = self.encoder(source, init_state, self.node_embeddings) # B, T, N, hidden
output = output[:, -1:, :, :] # B, 1, N, hidden
# CNN based predictor
output = self.end_conv((output)) # B, T*C, N, 1
output = output.squeeze(-1).reshape(-1, self.horizon, self.output_dim, self.num_node)
output = output.permute(0, 1, 3, 2) # B, T, N, C
return output