graphSAGE/Inductive Representation Learning on Large Graphs

总结

通过邻居节点，计算节点emb，可以无监督学习

细节

对于unseen的节点也能产出emb，主要是通过对邻居节点的学习

计算节点emb的算法步骤

1. 节点emb初始化
2. 计算节点v的邻居节点emb：$h_{\mathcal{N}(v)}^k\leftarrow {\text{AGGREGATE}}_k(\{h_u^{k-1},\forall u\in \mathcal{N}(v)\})$
3. 更新节点v的emb：$h_v^k\leftarrow \sigma ({\mathbf{W}}^k\cdot \text{CONCATE}(h_v^{k-1},h_{\mathcal{N}(v)}^k))$
4. emb归一化

上述算法可以延伸到mini-batch用法上

计算loss，尽量让相邻的节点有相似的emb，距离远的节点emb不同，loss如下：
$$J_{\mathcal{G}}({\mathbf{z}}_u)=-\log (\sigma ({\mathbf{z}}_u^T{\mathbf{z}}_v))-Q\cdot {\mathbb{E}}_{v_n\sim P_n(v)}\log (\sigma (-{\mathbf{z}}_u^T{\mathbf{z}}_{v_n}))$$
其中：

1. ${\mathbf{z}}_v$是节点u的一个邻居节点
2. $P_n$是negative sampling
3. $Q$是negative samples的数量
4. ${\mathbf{z}}_u$不是从emb table中读出来的，而是从邻居节点的emb中计算出来的

图不像nlp/cv，邻居节点之间是无序的。因此理想的aggregator应该是对称的（对输入的各种排列结果，输出不变）

3个aggregator：mean aggregator（去掉concate），lstm aggregator（对输入顺序敏感，因此输入是一个random permutation），pooling aggregator（max-pooling）

实验

实验类别：节点分类，3个dataset（citation、reddit、ppi）
baseline：random classifier，lr，deepwalk，deepwalk+random emb拼接
loss函数：unsupervised loss如上，以及cross-entropy as supervised loss
评估指标：f1
实验结果：