DeepWalk模型的简介与优缺点

1、DeepWalk

[DeepWalk] DeepWalk- Online Learning of Social Representations (SBU 2014)

word2vec是基于序列进行embedding;但是,实际上实体之间的关系越来越复杂化、网络化。这个时候sequence embedding------>graph embedding。

图的定义:

G=(V,E),Evv

DeepWalk模型的简介与优缺点_第1张图片

两大块内容:

1、构建序列;------->随机游走,截断随机游走

2、word2vec训练;------>Skip-gram

2.模型特点:

文章开创性的提出了随机游走 + skipGram的形式对节点进行表达,后续大量工业界对emb的应用都是参照这种形式进行的。

deepWalk的核心思想就是分为两步:
(1)通过关系网络图构建随机游走序列;
(2)把生成的序列通过skip-Gram的形式记性表示,将每个节点都能够表示在同一个空间中。文章对于算法效果的评定主要是通过对于几个网站的用户进行多标签分类的任务。
实验结果显示,提升效果比较明显,同时在训练数据比较少的情况下本算法也能够有较好的表现。

优势:

数据量比较稀疏的时候依然能够有很好的表现

支持大规模在线执行预测

能够实现并行化操作

应用到的算法和公式都是基于语言模型的。

文章提出了如果能够直接得到训练序列,也不一定需要进行随机游走这个过程。

3.参考文献:

simrank:https://www.cnblogs.com/pinard/p/6362647.html
https://zhuanlan.zhihu.com/p/45167021

https://www.cnblogs.com/pinard/p/7243513.html
原论文:http://www.perozzi.net/publications/14_kdd_deepwalk.pdf
论文翻译:https://www.jianshu.com/p/5adcc3d94159
应用参考文献:https://yq.aliyun.com/articles/716011

你可能感兴趣的:(algorithm,principle/原理,自然语言处理(NLP)专栏)