图神经网络笔记

1.图神经网络介绍

近年来，对于图结构的数据，如社交网络中的人际关系、化学中的分子相互作用、三维点云数据以及数据中各个单元之间的结构，研究人员借鉴了卷积神经网络、循环神经网络和深度自编码器的思路，设计了专门用于处理图结构数据的神经网络，称之为图神经网络（Graph Neural Network，简称GNN）。

图数据是由节点（nodes）和边（edges）组成的数据结构，通常用于表示各种关系和网络，如社交网络、知识图谱、分子结构、交通网络等。GNN的目标是从这些图数据中学习有关节点和边的信息，以便进行各种任务，例如节点分类、图分类、链接预测等。

2.图神经网络分类

2.1 递归图神经网络 Recurrent graph neural networks (RecGNNs)

在递归图神经网络中，每个节点都与其邻居节点相互连接。通过在节点之间传递和聚合信息，递归图神经网络可以对整个图中的节点进行计算。这样，在处理图数据时，递归图神经网络能够捕捉到节点之间的关系和结构特征，从而提取出有意义的表示。

递归图神经网络的核心思想是通过递归地更新节点的表示，而不仅仅是一次性地对所有节点进行处理。这使得模型能够在节点级别上对图进行迭代计算，从而更好地捕捉到局部和全局的特征。在每个递归步骤中，节点的表示会结合其邻居节点的信息进行更新，直到达到某个停止条件。

递归图神经网络可以应用于多种图数据的任务，如图分类、节点分类、图生成等。它在社交网络分析、化学领域、推荐系统等领域具有广泛应用，并取得了一些令人瞩目的研究成果。

2.2 图卷积神经网络 Convolutional graph neural networks (ConvGNNs)

ConvGNNs基于图卷积操作，通过在图中的节点之间传播和聚合信息，从而对节点进行特征提取和表示学习。在每一层的操作中，ConvGNNs通过将节点和它的邻居节点的特征进行加权平均或者拼接，来更新每个节点的表示。

图卷积操作在每个节点上类似于传统卷积操作在二维网格上的窗口滑动，但是不同点在于它是根据图的结构，采用邻居节点的信息来更新当前节点的表示。这种更新方式能够充分利用节点之间的连接和拓扑结构，从而捕捉到节点之间的关系和局部-全局的特征。

ConvGNNs在图领域的许多任务中得到了广泛应用，如图分类、节点分类、图生成等。它可以处理各种类型的图数据，包括社交网络、推荐系统、生物信息学、化学分子等。

2.3 图自编码器 Graph autoencoders (GAEs)

自编码器是一种无监督学习模型，用于学习数据的低维表示。图自编码器通过将图的邻接矩阵作为输入，并通过编码（将输入图映射到低维表示）和解码（将低维表示映射回原始图）两个步骤来实现图数据的表示学习和重构。

在训练过程中，图自编码器的目标是最小化解码后的重构图与原始图之间的差异。为了实现这一目标，模型通过学习到的低维表示，考虑了图的邻居节点特征和拓扑结构，从而实现对图数据的有效表示和重构。

图自编码器的应用包括图降维、图分类、异常检测等。它可以对各种类型的图数据进行建模，如社交网络、化学分子、推荐系统中的用户-物品关系等。

2.4 时空图神经网络 Spatial-temporal graph neural networks (STGNNs)

时空图神经网络（Spatial-temporal Graph Neural Networks，STGNNs）是一种专门用于处理时空图数据的神经网络模型。它结合了图神经网络和时空建模的思想，可以用于对具有时空结构的数据进行建模和预测。

时空图数据是具有时序和空间维度的图结构数据。例如，交通流数据中的道路网络、社交媒体中的用户交互网络等都具有明显的时空特征。STGNNs能够利用图结构中的节点和边表示时空关系，并通过神经网络模型对其进行处理。

STGNNs的核心思想是在图结构上进行信息传播和聚合，以捕捉时空数据中的时序特征和空间关系。它能够通过在节点之间传递和更新特征来建模节点的时序变化，并通过考虑节点之间的连接关系来捕捉空间关系。

在时空图神经网络中，可以通过在时间维度上堆叠多个图卷积层或递归单元层来实现时序特征的建模。这样，模型可以在不同的时间步上对图进行迭代计算，从而获取时间上的动态信息。同时，空间上的信息传播和聚合可以通过图卷积等操作完成，以利用节点之间的邻接关系。

时空图神经网络可以应用于许多时空数据分析任务，如时空预测、时空异常检测等。它在交通流量预测、社交媒体行为分析等领域具有潜在的应用价值。

3.图神经网络的关键概念

节点表示（Node Embeddings）：GNN的主要任务之一是学习每个节点的表示（或称嵌入）。这些表示通常是一个固定维度的向量，用于捕捉节点的特征。GNN通过聚合节点的邻居节点信息来更新节点表示。这个过程在每个图卷积层中迭代进行。

图卷积（Graph Convolution）：图卷积是GNN中的核心操作。在每一层，它会考虑节点的邻居信息，并使用权重来聚合这些信息以更新节点的表示。这使得节点能够捕捉到周围节点的信息，从而改善对节点的分类或预测任务。

聚合函数（Aggregation Function）：在图卷积中，节点邻居的信息被聚合成一个新的节点表示。常见的聚合函数包括求和、平均值、最大值等。不同的聚合函数可以用于不同的任务和图结构。

图池化（Graph Pooling）：类似于卷积神经网络中的池化操作，图池化用于减小图的规模和复杂性。它可以通过合并节点或边来减小图的大小，以便在后续层中处理更抽象的信息。

任务层（Task Layer）：GNN通常最后会连接一个任务层，用于执行具体的任务，如节点分类、图分类、链接预测等。任务层的结构取决于所解决的任务类型。

反向传播（Backpropagation）：与其他深度学习模型一样，GNN使用反向传播算法来更新模型参数，以最小化损失函数。这使得模型能够从训练数据中学习，并提高其性能。

---