node2vec: Scalable Feature Learning for Networks

问题定义

给出一个图$G=(V,E)$，令$f:V->{\mathbb{R}}^d$为节点和向量表示(feature representation)间的映射，d为我们向量表示的维度。对图中的每个节点$u\in V$，定义$N_s(u)$为通过采样策略$S$得到的节点u的邻居节点。
我们将skip-gram架构扩展到图，尝试去优化以下目标函数：
$$\underset{f}{\max }\sum _{u\in V}logPr(N_s(u)|f(u))$$为使此优化问题可解，我们基于以下两点假设：

• 条件独立。我们假设已知一个节点的向量表示后，其每个邻居节点的取值概率是相互独立的。
  $$Pr(N_s(u)|f(u))=\prod _{n_i\in N_S(u)}Pr(n_i|f(u))$$
• 特征空间对称。源节点和邻居节点在特征空间有对称效应。
  $$Pr(n_i|f(u))=\frac{exp(f(n_i)\cdot f(u))}{{\sum }_{v\in V}exp(f(v)\cdot f(u))}$$

基于以上假设，我们的目标函数可以简化为：
$$\underset{f}{\max }\sum _{u\in V}[-log{Z}_u+\sum _{n_i\in N_S(u)}f(n_i)\cdot f(u)]$$其中$Z_u={\sum }_{v\in V}exp(f(u)\cdot f(v))$，在大型网络中很难计算，我们利用负采样去近似它。于是上式就可以通过随机梯度上升进行求解。

采样策略

对源节点的采样策略中有两种极端情况：广度优先(BFS)和深度优先(DFS)。图网络中的节点预测任务常在两种相似性中间徘徊：同质性和结构对等。在同质性条件下，互相连接的并且属于相似的簇的节点的embedding是相似的。而在结构对等的条件下，在图结构中扮演相似角色的节点embedding是相似的。在实际网络中通常是一些节点表现出同质性，而另一些表现出结构对等。
通过BFS进行采样得到的邻居节点通常会导致embedding有结构对等特性。直观来说要想获得结构对等性，就需要得到局部的邻居节点的性质。
而DFS能够探索网络中的大片区域，采样得到的节点能够更加宏观地对节点的邻近关系进行反映。

random walk

正式地，给出一个源节点$u$，我们模拟固定长度$l$的随机游走。令$c_i$表示walk中的第$i$个节点，$c_i$可从以下分布中生成：
$$P(c_i=x|c_{i-1}=v)=\{\begin{array}{rlr}{\pi }_{vx}/Z& & if(v,x)\in E\\ 0& & otherwise\end{array}$$
其中${\pi }_{vx}$为未归一化的转移概率，$Z$为归一化常数。
我们定义了一种2nd随机游走：考虑一个刚从节点$t$走到$v$的walk，现在它需要前进一步，因此要评估从$v$到$x$的转移概率，我们设置从当前节点$v$到某节点$x$的未归一化的转移概率为：
$${\alpha }_{pq}(t,x)=\{\begin{array}{rlr}1/p& & if{d}_{tx}=0\\ 1& & if{d}_{tx}=1\\ 1/q& & if{d}_{tx}=2\end{array}$$
我们将未归一化的转移概率设置为${\pi }_{vx}={\alpha }_{pq}(t,x)\cdot w_{vx}$，其中$d_{tx}$为$t$到$x$间的最短距离。
参数$p$控制walk回头的几率。如果设置一个较大值(> max(q, 1))，那么接下来walk就有较小的概率访问它访问过的节点。如果p设置得较小(1，那么random walk会偏向离t近的节点，此时random walk接近于BFS，而若q<1，random walk会偏向于DFS。
除得到节点的embedding，也可以通过节点来得到边的表示。

实验