图嵌入survey

 

读论文：HongYun Cai, Vincent W. Zheng, Kevin Chen-Chuan Chang: A Comprehensive Survey of Graph Embedding: Problems, Techniques, and Applications. IEEE Trans. Knowl. Data Eng. 30(9): 1616-1637 (2018)

 

哎，本来写了不少感想，结果被微博干掉了，真的是傻逼系统，没办法，直接入正题吧。

 

图嵌入方法的研究，在这篇survey中主要通过一下三个方面进行介绍，首先是输入（从哪里来），然后是输出（到哪里去），最后是方法（干什么），如下图所示：

输入：

homogeneous：主要研究图结构的嵌入，如何对数据的连接结构信息进行分析是关键，也分为方向和权重（边）；

heterogeneous：主要分析不同类型节点的一致性和数据偏移问题

auxiliary information：附加信息帮助嵌入学习，不如label，attribute，feature等，可以和图结构进行结合；

non-relational data：非关系性数据，需要构造（特征矩阵等）——》我没有理解。。。

 

输出：（向低维的空间映射）

node embedding

edge embedding

hybrid embedding - substructure embedding

the whole-graph embedding

 

方法：

1，矩阵分解：

——》拉普拉斯特征映射，在目标函数中，被分割太远的两个相似节点会得到更多的反馈（惩罚）

——》节点近似矩阵分解，最小化近似向量的大小

 

2，深度学习：

——》随机游走，考虑维持图的二阶相似性，最大化节点邻居的观测概率 ，类似于word2vec的计算方式

——》非随机游走，深度的，多层架构的学习方式，比如自编码器，深度神经网络等

 

3，基于边重构的优化：

——》最大化已有边的重构改率，其中一阶类似逻辑回归，二阶类似softmax

——》最小化距离损失，基于KL散度的距离函数（PTE的方法，主要考虑双向图）

——》最小化边缘排序损失，基本思路是节点向量距离相关节点近，无关节点远（SVM？），可以融合特定任务的目标。

 

4，图核心：

——》主要考虑图的结构特征，

 

5，生成模型：

——》语义模型，比如LDA

——》融入语义信息，

 

6，混合模型：

——》不同阶段的任务采用不同的模型，比如在CQAs中，利用LSTM模型学习语句嵌入，利用边缘损失融合朋友关系信息。

 

总结：其中边重构优化中的最小化距离损失和最小化边缘排序损失的两个方法值得深究一下的。

 

其他需要关注的论文：

融合语义信息：

H. Xiao, M. Huang, L. Meng, and X. Zhu, “SSP: semantic space projection for knowledge graph embedding with text descriptions,” in AAAI, 2017, pp. 3104–3110.

L. Yao, Y. Zhang, B. Wei, Z. Jin, R. Zhang, Y. Zhang, and Q. Chen, “Incorporating knowledge graph embeddings into topic modeling,” in AAAI, 2017, pp. 3119–3126.

 

异构信息网络：

Y. Zhao, Z. Liu, and M. Sun, “Representation learning for mea- suring entity relatedness with rich information,” in IJCAI, 2015, pp. 1412–1418.

Z. Liu, V. W. Zheng, Z. Zhao, F. Zhu, K. C. Chang, M. Wu, and J. Ying, “Semantic proximity search on heterogeneous graph by proximity embedding,” in AAAI, 2017, pp. 154–160.

H. Gui, J. Liu, F. Tao, M. Jiang, B. Norick, and J. Han, “Large-scale embedding learning in heterogeneous event data,” in ICDM, 2016, pp. 907–912.

Y. Dong, N. V. Chawla, and A. Swami, “metapath2vec: Scalable representation learning for heterogeneous networks,” in KDD, 2017,