【论文精读】node2vec: Scalable Feature Learning for Networks

node2vec: Scalable Feature Learning for Networks

可扩展的 图嵌入 表示学习算法

可扩展：算法可用于互联网规模级别的数据，在有限的时间和空间中

图嵌入：将图的连接信息嵌入到连续、低维、稠密的D维空间中

表示学习：用数据驱动方式，机器学习构造特征，不是人工构造特征。

Abstract

之前的DeepWalk只能将相邻的节点信息捕捉，对于距离较远的节点不能捕捉信息。这是因为DeepWalk的游走长度和游走策略的限制。

Node2Vec不是完全的随机游走，虽然是随机选择起始节点，但对于下一个节点的选择则是由权重决定。对于节点的选择有两种极端方案：

• DFS（Macro-view of neighbourhood）：下图中q值较小，p值较大，当前节点V更倾向于向外走
• BFS（Micro-view of neighbourhood）：p值较小，q值较大，更愿意返回上一个节点$t$

这里用广度优先和深度优先来近似表示这两种方案

• DFS更倾向于表示节点的同质性（Homophily），即相近节点的Embedding应该相似，在下图中，节点$u$与$s1,s2,s3,s4$的embedding应该是相似的。因为DFS有可能通过多次跳转，游走到更远的节点上，但无论怎样，DFS生成的游走序列仍然是在一个大的集团的内部进行，这就是大的社群内节点的Embedding更为相似；
• BFS倾向于捕捉节点间的结构性（Structural Equivalence），即结构上相似的节点的Embedding应该尽量接近。例如下图中的节点$u$和$s_6$。因为BFS会更多地在当前节点的邻域中进行游走遍历，对当前节点周围的网络结构进行一次扫描。

Node2Vec可以通过调参在两种极端方案之间平滑的变化。

特点（优点）：

• 通过调节p、q值，实现有偏的随机游走，探索节点社群、功能等不同属性。DeepWalk可以看做是Node2Vec在p=1,q=1的特例。

• 首次把Node Embedding用于Link Prediction

• 可解释性、可扩展性号

缺点：

• 和DeepWalk一样，仍然需要大量的随机游走序列训练，是管中窥豹
• 随机游走序列有长度限制，距离较远的两个节点无法直接相互影响，看不到全图信息（图神经网络）
• 无监督学习，仅编码图的连接信息，没有利用节点的属性特征（图卷积）
• 没有真正用到神经网络和深度学习

Introduction

很多重要的任务都与预测网络的节点和边有关。在经典的节点分类任务中，我们希望预测节点的最有可能的标签。例如，在社交网络中，我们可能预测用户的兴趣或者在蛋白质相互作用网络中，我们可能预测蛋白质的功能。

在连接预测中，我们也希望预测图中的两个节点之间是否存在相连的边，连接预测在很多领域都是适用的。例如在基因组学中，它帮助我们预测基因之间未经发现的相互连接；在社交网络中，它可以识别两个用户之间的联系。

下面提出一些方案，并给出其缺陷之处，最后引出自己提出的方案

任何监督学习的机器学习算法都需要许多内含丰富语义的、有分类区分性的、彼此相互独立的特征。在图的预测任务中，这要给节点和边构建特征向量。

传统的解决方案是根据专家知识人工设计特征。这样做的弊端，即使不考虑人工设计特征的繁琐，这样的方案只能是为专门的任务设计，并不能适用于大多数预测任务。

一个替代方案是通过求解一个优化问题来学习图中节点和边的特征表示。这里的关键是定义一个合适的目标函数，它涉及到在计算效率和预测精度之间的平衡。

• 只看预测精度：如果直接求解使得在下游任务上取得最好表现的特征表示；虽然可以取得好的精度，但由于参数数量的激增使得需要花费的训练时间激增
• 如果将目标和函数定义为与下游任务无关并且用无监督学习方法来学习特征表示，这样产生的特征表示与监督学习方法产生的特征在预测精度上相媲美。

然而，当前的技术还不能定义和优化网络中可扩展的、无监督的特征学习方法所需的合理目标。

基于线性和非线性降维技术（如主成分分析、多维缩放及其扩展）的经典方法优化了一个目标，该目标转换网络的代表性数据矩阵，从而使数据表示的方差最大化。由于计算的复杂性，这种涉及到**特征值缩减（eigendecomposition）**的方法是不适用于真实世界的大规模图数据，并且得到的特征表示在多个预测任务上表现不佳。

---

我们可以设计一种目标函数，保存节点的局部邻域信息。这个目标函数可以使用随机梯度下降有效优化，类似于只有单层的神经网络中的反向传播算法。在这个方向上的研究，例如DeepWalk和LINE，他们虽然可以有效得到特征表示，但其依赖于僵硬的模式，对图特有的连接模式不敏感（总的来说就是不能捕捉全图连接模式，只能捕捉局部信息）。

图中节点的组织有两大类思路：

• 根据其所属的社群
• 根据其在网络中扮演的角色

在下图中，节点$u$和$s_1$属于同一社群，节点$u$和$s_6$在图中具有相近的功能角色，都是各自子图的枢纽。而真实世界的网络是这两种模式的混合。

因此，需要一种更灵活的算法，能将距离或功能角色相近的节点嵌入到距离相近的向量中。

---

这里作者引出了自己的工作

Present Work

我们通常了node2vec，一种可扩展的半监督学习算法在图的特征学习上。我们使用SGD优化了一个自定义的基于图的目标函数，该方法是源于Word2vec在自然语言处理领域的启发。直观上看，我们的方法返回的特征表示最大化了在d维空间中保留节点的网络邻域信息的似然概率。我们使用二阶随机游走去采样节点的相邻节点。

二阶随机游走（二阶马尔可夫性）：下一节点不仅与当前节点有关，还与上一节点有关。

key contribution

• 定义了一种灵活的节点采样策略。

  基于此，node2vec学习到的特征可以将节点根据其所属邻域和功能角色所划分。相比较与DeepWalk和LINE，该算法是灵活的，根据可以调节的参数来控制随机游走搜索的空间。该参数对于随机游走搜索的空间有一个直观的解释，这些参数也可以通过一小部分有标注的数据用半监督学习的方法学习得到。

• 将节点的特征表示延伸到了边的特征表示，通过对已经学到的一对节点的特征表示进行二元操作，这些可用于边的预测。

代码实战

悲惨世界人物关系-Node2Vec图嵌入

参考资料

同济子豪兄

Darts, Dice, and Coins: Sampling from a Discrete Distribution

Alias Method: 非均匀随机抽样算法

DBSCAN聚类算法——机器学习（理论+图解+python代码）