Graph Embedding之DeepWalk

  DeepWalk是一种用来学习图（网络）中顶点的潜在表示的一种基于简单神经网络的算法。DeepWalk 算法第一次将深度学习中的技术引入到图（网络）表示学习领域，且充分利用了图（网络）结构中的随机游走序列的信息。
  DeepWalk的主要思想来源于Word2Vec，作者首先介绍了自然语言中的词频满足统计学中的幂律分布（Power Laws），而在网络中对每个顶点进行指定深度的随机游走得到的顶点序列也同样满足幂律分布，如下图所示。因此可以相应地将NLP中的word2vec运用在图（网络）中的顶点表示上，故而有了DeepWalk算法。

power-law

Language Modeling

  在详细介绍DeepWalk之前，我们先介绍一下语言模型。语言模型的目标是估计一个特定的单词序列在语料库中的似然。例如，给定一个如下的单词序列
其中 （表示词汇表），针对以上单词序列，语言模型的目标是想要在现有的训练语料库上最大化
目前的表示学习工作，在语言模型的基础上，更关注使用概率神经网络模型去构建单词的一般表示。在这偏论文里，作者在随机游走的基础上，提出了一种通用的语言模型来学习图中每个顶点的一半表示。图中的每一次随机游走都可以认为是语言模型中的一条语句，然后直接模拟语言模型，估计每个顶点在历史访问的顶点条件下的似然：
由于最终的学习目标是学习每个顶点的一般表示，于是上述问题可以转换为：
然而随着游走深度的增长，计算上述目标函数代价会变得非常大。于是NLP领域又出现了使用上下文预估当前单词的方式，这种方式很好的消除了单词在句子中顺序的影响，对应的方法有CBOW和SkipGram，然后本文中使用了SkipGram语言模型。于是我们的目标函数就变成了：
  DeepWalk算法主要分成两个部分：随机游走（Random Walks）和SkipGram建模。下面会分两个部分进行详细介绍。DeepWalk算法的具体描述如下所述。

Random Walks

  作者定义了一次Random Walk的过程，假设以顶点为起点的一次随机游走结果为，那么针对该随机游走序列，那么是从顶点的所有邻接顶点中随机选择的一个顶点。上面说过，这个随机游走序列中的各顶点出现的频率满足幂律分布，因此针对每个顶点随机游走的若干个指定长度的顶点串可以组成接下来模型训练环节的“语料库”。

Deep Walk

以上算法展示了Deepwalk的核心内容，外层循环指定了对于每个顶点的随机游走的次数。在内层循环中，遍历图中的每个顶点，然后对每个顶点进行一次深度为的随机游走过程，然后使用该随机游走序列，使用SkipGram模型针对之前提出的目标函数更新当前顶点的表示

Skip-Gram Modeling

  Skip-Gram Modeling是一种基于神经网络结构的Word2Vec模型，主要利用Word2Vec的思想将Random Walks中拿到的随机游走的顶点序列作为语料库，训练神经网络模型，进而学习每个顶点的向量表示。
首先，该算法以滑动窗口的方式遍历随机游走的顶点序列，窗口的大小为，在每个窗口内，针对当前中心顶点，使用上文的目标函数更新当前顶点的表示，从而学得每个顶点的一般表示。

Skip Gram

另外针对该目标函数在大规模图网络场景下面临的计算复杂度，作者提出了一种优化方法叫Hierarchical Softmax。使得目标函数的计算时间复杂度从降到了 。另外作者还给出了并行计算框架下的实现范例，具体可以参考原论文。

Overview of DeepWalk

应用场景

  通过DeepWalk我们可以学习得到所有顶点的连续性特征表示，然后利用这些特征，我们可以做聚类，异常检测，半监督分类等。由于SkipGram的特性，窗口内相邻的顶点会得到相似的一般表示，因此，利用DeepWalk学习到的网络特征进行无监督聚类，可以得到效果比较好的社区发现结果，通常可以在风控场景下用来做群组分析。以上就是DeepWalk的全部内容。

参考：
https://arxiv.org/pdf/1403.6652
http://www.perozzi.net/projects/deepwalk/