图卷积神经网络笔记——第四章:图卷积神经网络的应用

上一节: 链接.
通过前面的讲解,我们大致了解了什么是图卷积神经网络,有了一个较熟悉的认识,接下来介绍一下图卷积神经网络的应用。应用较多,主要详细讲解交通预测。

目录

  • 一、简介
  • 二、图卷积在交通预测上的应用(详讲)
      • 1.交通预测任务介绍
      • 2.各种方法介绍
        • 2.1 忽略空间信息
        • 2.2 构建 spatio-temporal matrix
        • 2.3 栅格模型
        • 2.4 图模型
      • 3.图的构建
        • 3.1 高斯核构建邻接矩阵
        • 3.2 多图表示法
        • 3.3 自适应的邻接矩阵
        • 3.4 attention
      • 4.小结
  • 三、其他方面
      • 1.天气预测(气象分析邻域)
      • 2.骨架视频(计算机视觉邻域)
      • 3.文本分类(自认语言处理邻域)
      • 4.小结

一、简介

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第1张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第2张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第3张图片

二、图卷积在交通预测上的应用(详讲)

1.交通预测任务介绍

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第4张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第5张图片
说明一下公式: V t ∈ R n ∗ c V_t \in R^{n*c} VtRnc,其中 n n n是节点数, c c c是通道数,也就是说,有 n n n个节点,每个节点上是一个 1 ∗ c 1*c 1c的向量,代表节点上的信号,这还只是一个时刻的交通数据。通常来说,交通数据中的节点可以由道路、十字路口、监测站或者一个区域来代表。这个 c c c其实就是节点的信号,也就是特征,可以是车的流量、车速、这个区域或者道路的拥挤程度等。

如果是单一信息预测,比如说交通流量预测,那么 c c c就等于1,这种情况也就是说在某个时刻,一个节点上只有一个特征,这个特征代表交通流量。

上面右图是一个示例。

当然不仅预测下一时刻,也可预测多个时刻。
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第6张图片

以上就是交通数据介绍,接下来看看具体是怎么样做的。

2.各种方法介绍

2.1 忽略空间信息

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第7张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第8张图片
上面只考虑了单个节点,多个节点怎么处理?下面接着看:
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第9张图片
但是有个问题就是:将所有的节点排成一排,那么节点就完全失去了空间的信息。

2.2 构建 spatio-temporal matrix

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第10张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第11张图片
这个其实就是节点只考虑了周围的两个节点,比如说2号节点只考虑了1和3号节点,而不会考虑其他的节点。这种其实要求数据集是很特殊的,如上面右图,是一个环状的,就可以使用这种思想,但是一般的交通结构不是这种的,所以此模型不具有泛化性。

2.3 栅格模型

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第12张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第13张图片
在这里插入图片描述
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第14张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第15张图片
上面这个模型可以看作是从传统的方法到图方法的过渡,使用node embedding的方法来辅助交通预测任务。
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第16张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第17张图片

2.4 图模型

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第18张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第19张图片
上面的这张图我们在前面其实提到过,现在放在交通流量预测中我们再来看看:输入的每个节点上只有一个数(特征),但是输入的数据是一个历史数据,比如说输入的是过去的5个时刻的数据,预测未来3个时刻的数据,那么输入的每个节点上的数为5,也就是 C = 5 C=5 C=5,表示过去的5个时刻;同样的输出的每个节点上的数为3,也就是 F = 3 F=3 F=3,表示预测未来3个时刻的流量。

上面这个就是通过建模来预测交通流量问题,当然这个只是其中的一种建模方法,更多在处理时序数据的时候使用的是LSTM和图卷积结合起来,在这里只讲全图卷积来进行流量预测。

可以说交通流量预测问题就是一个节点回归问题,需要对每一个节点上的信号给出一个具体的值,这个值就是此节点上未来的多个时刻的交通流量。
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第20张图片
虽然这里介绍的是交通流量预测问题,但是图的构建问题是广泛存在多个领域的,是很重要的部分,如果连图的构建都不会,还想做后面的工作,想peach呢?需要说明一下,图的构建问题实际上就是如何构建出邻接矩阵。

3.图的构建

3.1 高斯核构建邻接矩阵

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第21张图片
解释一下上面的公式: d i j d_{ij} dij表示 i i i节点和 j j j节点的欧式距离, w i j w_{ij} wij为两个节点的关系,显然 d d d越大, w i j w_{ij} wij就越小,同时设定一个阈值,超出这个范围,那 w i j = 0 w_{ij}=0 wij=0
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第22张图片

3.2 多图表示法

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第23张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第24张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第25张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第26张图片
对相关图解释一下,比如说有A和B两个节点,在一段时间中,它们的交通流量呈现相似性,那么就可以认为它们的相关性高。

最后就是将距离图、交互图、相关图这三种图进行融合,首先 A ′ = D i − 1 A i + I A^{'}=D_i^{-1}A_i+I A=Di1Ai+I的意思就是对邻接矩阵标准化或者说归一化,然后添加自连接边,最后 F = ∑ i = 1 N W i ′ ∘ A i ′ F = \sum\limits_{ {\rm{i = 1}}}^N {W'_i\circ A'_i} F=i=1NWiAi就表示加权求和的过程, F F F是最后融合的图的权重, W i ′ W'_i Wi是可学习的参数。
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第27张图片
虽然实验结果表明,多图表示法效果最好,但是加权求和起来的图是否可靠是有疑问的,没有理论的支持。而且这样图确定后不能再变了,但是交通预测中图是随时间变化的。

上面介绍的都是人为的手工去构造图结构,那么能不能用深度学习的方法自动的学习图结构呢?下面来看:

3.3 自适应的邻接矩阵

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第28张图片
解释一下上面的公式: A ~ a p t k \widetilde A^k_{apt} A aptk是邻接矩阵, X X X是输入特征, W k W_k Wk是卷积核参数,和ChebNet网络很相似。

这篇文章中的邻接矩阵是可学习的, A a p t k A^k_{apt} Aaptk就是自适应的邻接矩阵,但是由于 A a p t k A^k_{apt} Aaptk是一个 N ∗ N N*N NN的矩阵,由于参数量太大,直接学习是不现实,所以对 A a p t k A^k_{apt} Aaptk进行了相当于矩阵分解的操作,就是 A a p t k = S o f t M a x ( R e L U ( E 1 E 2 T ) ) A^k_{apt}=SoftMax(ReLU(E_1E^T_2)) Aaptk=SoftMaxReLU(E1E2T),也就是将 A a p t k A^k_{apt} Aaptk分解成 E 1 和 E 2 T E_1和E^T_2 E1E2T。现在假设 E 1 ∈ R N ∗ P E_1\in R^{N*P} E1RNP,一般P< E 2 ∈ R N ∗ P E_2\in R^{N*P} E2RNP转置后相乘就会把P消掉,所以 E 1 E 2 T ∈ N ∗ N E_1E_2^T\in N*N E1E2TNN。这样就降低了参数量的作用。
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第29张图片
这篇文章只能自动学习到邻接矩阵,学习下来后就固定了,而不能动态的改变邻接矩阵。

那么有没有学习动态的图结构的方法呢?答案是有的。

3.4 attention

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第30张图片
这个就是说Attention机制在学习注意力参数 a i j a_{ij} aij时,不同的输入会学习到不同的 a i j a_{ij} aij,所以就达到了学习动态图的效果。

4.小结

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第31张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第32张图片

三、其他方面

1.天气预测(气象分析邻域)

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第33张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第34张图片
可以发现与交通预测的数据建模很相似。

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第35张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第36张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第37张图片

2.骨架视频(计算机视觉邻域)

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第38张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第39张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第40张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第41张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第42张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第43张图片

3.文本分类(自认语言处理邻域)

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第44张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第45张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第46张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第47张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第48张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第49张图片

4.小结

图卷积神经网络笔记——第四章:图卷积神经网络的应用_第50张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第51张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第52张图片
图卷积神经网络笔记——第四章:图卷积神经网络的应用_第53张图片

你可能感兴趣的:(图卷积神经网络笔记,图神经网络,深度学习)