GraphSage:Inductive Representation Learning on Large Graphs

论文题目： Inductive Representation Learning on Large Graphs
大规模网络的归纳式学习 （GraphSAGE）

简介

前期知识储备

论文结构

学习目标

论文研究背景、成果及意义

研究背景

图神经网络专题要做的事情：学习一个函数ENC()，将图中的一个点映射到d维的向量。图中的两个点u、v在不做任何变换之前，在拓扑结构上他们的相似度就比较高，那么希望u、v在映射之后的空间上，他们之间的相似度也比较高。




W_k和B_k分别表示对邻居的处理方式和对自身的处理方式。
对于同一层或同一个k或在同一个时刻的GNN来说，W_k都是共享的，即所有的点在汇聚邻居的时候，都是享用同一个W_k，但是在每一层(即不同层的时候)，这个W_k是不同的。

GCN、GAT、GraphSage这些图神经网络模型的共性：

第一步：定义一个邻居的汇聚方法，即如何将邻居的信息汇聚成一个vector以及如何将这个vector与自己本身的vector进行拼接；
第二步：定义一个loss function，利用反向传播算法更新学习模型中的参数，如W_k等；
第三步：选取一些节点，这里面是以点为中心的，对于每一个点来说，都是一个计算图，
用batch的训练方法，在一个点集合上，来训练一个batch上的计算图。GAT是在全局上进行训练的，而这篇论文是利用batch的训练方式进行的；
第四步：对于所有的点，通过学习得到的参数得到Embedding。

模型框架

模型的流程：

上图右边的计算图是对点A来说的一张计算图



算法2为一个batch的训练方法

数据集介绍

节点分类任务

运行效率和参数分析

研究意义

GraphSAGE(SAmple and aggreGatE)意义

• 图卷积神经网络最常用的几个模型之一(GCN、GAT、GraphSAGE)
• 归纳式学习(Inductive Learning)
• 不同于之前的学习node embedding，提出学习aggregators等函数的方式
• 探讨了多种的aggregator方式(mean、pooling、lstm)
• 图表征学习的经典baseline

论文泛读

摘要

摘要核心

• 本文提出了一种归纳式学习模型，可以得到新点/新图的表征。
• GraphSAGE模型通过学习一组函数来得到点的表征。
• 采样并汇聚点的邻居特征与节点的特征拼接得到点的特征。
• GraphSAGE算法在直推式和归纳式学习均达到最优效果。

论文小标题

论文精读

论文算法模型总览

GNN结构

GraphSAGE结构

两个步骤：sample && aggregate
此模型考虑的邻居大小是固定的数，GAT里面会考虑所有的一跳的邻居

第一层：A、C到B；A、B、E、F到C；A到D
第二层：B、C、D到A

论文算法模型的细节

细节一：模型框架

细节二：无监督/有监督

邻居的定义：

无监督
The graph-based loss function encourages nearby nodes to have similar representaions, while enforcing that the representations of disparate nodes are highly distinct:

v是以点u为中心，执行random walk采样得到的点；log(sigmoid(z_u^Tz_v ))为正样本，因为v是通过random walk采样得到的，因此点v和点u是比较靠近的点；v_n~ P_n（v）指服从一个分布，按照这个分布取负样本，与负样本的距离要尽可能的远。
Loss：附近的节点具有相似的Embedding表示，不同节点的Embedding表示不同(negative sampling)
有监督

细节三：多种aggregator函数

symmetric：对称的
节点无顺序可言

没有做拼接操作，算法中的连接方式可以有效保留自身的信息，不与邻居之间的信息做混合。

permutation:排列

细节四：batch训练算法

Batch训练时，需要更新的参数为这个batch里面的点以及这个batch里面的点对应的邻居就可以。
为什么要用batch这个训练方式？
batch这种训练方式避免去更新所有点的embedding，但是在当前这个batch下，只去更新我们用到的点的embedding，不做全点的更新。batch所用到的点的邻居的embedding

细节五：理论分析

WL-test
测试两个图是否是同构图(同构图定义：通过变换顶点和度可以转换成相同形状的图,两个图看上去不一样,通过变形后变成同一个图,说明它们的本质是相同的)。
如何做的？



clustering coefficient

定义可以对点进行定义，例如C_i表示点i，k_i表示点的度，假设有k_i个邻居，将这k_i个邻居的子图抽出来，那么这k_i个点构成的最密的图是[k_i(k_i-1)]/2，即两两节点相连，这是理想的情况，而分子是真实的一跳的邻居。因此C_i越大，证明局部的邻居密度越密，周围点构成的子图的密度。

实验设置和结果分析

实验设计

与baseline方法进行相比较；
分析自己的模型

归纳式节点点分类实验

运行效率和参数分析

善于发现自己模型的优点，并且展现出来。

不同aggregator函数分析

论文总结

关键点：

• 模型结构
• 邻居sample以及LSTM顺序
• Batch训练方式
  创新点：
• 归纳式学习
• 多种aggregator的探讨
• 理论分析
  启发点：
• 归纳式学习的方式，演化图以及完全的新图
• 多种aggregators函数的讨论
• Batch训练方式，sample邻居，性能高效
• GCN、GAT、GraphSAGE都是非常重要的模型，也是经典的baseline
• 与GNN常用框架之间的联系