【网络表示学习】ANRL

题目：ANRL: Attributed Network Representation Learning via Deep Neural Networks

作者：Zhen Zhang and Hongxia Yang and Jiajun Bu and Sheng Zhou and Pinggang Yu and Jianwei Zhang and Martin Ester and Can Wang

来源：IJCAI 2018

源码：https://github.com/cszhangzhen/ANRL

传统的基于网络结构的网络表示学习方法没有利用属性信息。结合拓扑结构和属性的表示学习方法目前仍然属于初步阶段原因：

（1）网络结构和节点属性是两种异构信息源，如何在同一个向量空间中保留他们的属性是一个问题。

（2）观察到的网络数据通常不完整甚至有噪声，难以得到有效的表示。

创新点

（1）自编码器的用法：用属性作为输入，重建的是并不是自身属性，而是邻居属性的聚合（加权平均或中位数）。这样聚合邻居特征有点类似GCN的做法，好处是聚合后的特征能够带有本地拓扑信息。所以作为中间层的表示也一定程度上考虑了本地结构信息。（但是这方面文中并没有详细解释为什么好）

（2）属性和拓扑的结合方式：用自编码器的中间层作为embedding；用embedding计算二阶相似度来更新embedding。

模型

Neighbor Enhancement Autoencoder

输入：节点$v_i$的特征 $x_i$

输出：节点 $v_i$ 邻居的特征重建值，重建的目标 $T(v_i)$ 聚合了邻居的特征

自编码器loss定义
$${\mathcal{L}}_{ae}=\sum _{i=1}^n{\Vert {\hat{\mathbf{x}}}_i-T\left(v_i\right)\Vert }_2^2\text{\hspace{1em}(2)}$$
其中 $T(\cdot )$ 采取以下两种方式：

• Weighted Average Neighbor：

  邻居特征的加权平均
  $$T\left(v_i\right)=\frac{1}{|\mathcal{N}(i)|}\sum _{j\in \mathcal{N}(i)}{w}_{ij}{\mathbf{x}}_j$$

• Elementwise Median Neighbor：

  取每一维特征在邻居节点中的中位数
  $$T\left(v_i\right)={\tilde{\mathbf{x}}}_i=\left[{\tilde{x}}_1,{\tilde{x}}_2,\cdots ,{\tilde{x}}_m\right]$$

$${\tilde{x}}_k=\mathrm{Median}\left(w_{i1}{\mathbf{x}}_{1k},w_{i2}{\mathbf{x}}_{2k},\cdots ,w_{i|\mathcal{N}(i)|\mathbf{X}|\mathcal{N}(i)|k}\right)$$

Attribute-aware Skip-gram Model

给定节点 $v_i$ 和属性 $x_i$，对于所有的随机游走 $c\in C$，最小化以下损失函数
$${\mathcal{L}}_{sg}=-\sum _{i=1}^n\sum _{c\in C}\sum _{b\le b,j̸=0}\log p\left(v_{i+j}|{\mathbf{x}}_i\right)\text{\hspace{1em}(3)}$$
条件概率定义为：
$$p\left(v_{i+j}|{\mathbf{x}}_i\right)=\frac{\exp \left({\mathbf{v}}_{i+j}^{\prime }f\left({\mathbf{x}}_i\right)\right)}{{\sum }_{v=1}^n\exp \left({\mathbf{v}}_v^{\prime T}f\left({\mathbf{x}}_i\right)\right)}\text{\hspace{1em}(4)}$$
其中 ${\mathbf{V}}_i^{\prime }$ 是节点 $v_i$ 作为上下文节点时的表示，$f(\cdot )$ 可以是任意属性编码函数，如用于图像数据的CNN或者用于序列数据的RNN。

上式直接计算开销大，用负采样进行优化：
$$\log \sigma \left({\mathbf{v}}_{i+j}^{\prime \mathrm{T}}f\left({\mathbf{x}}_i\right)\right)+\sum _{s=1}^{|\text{ neg }|}{\mathbb{E}}_{v_n\sim P_n(v)}\left[\log \sigma \left(-{\mathbf{v}}_n^{\mathrm{T}}f\left({\mathbf{x}}_i\right)\right)\right]\text{\hspace{1em}(5)}$$
负样本的概率分布采用word2vec论文里采用的 $P_n(v)\propto d_v^{3/4}$

联合优化

模型包括两个部分，共享自编码器的encoder部分。其中左边分支是一个decoder，重建输入样本的邻居属性；右边是用输入样本对应表示预测其上下文。

两个分支都共享了自编码器的encoder部分，最终表示 ${\mathbf{y}}_i^{(K)}$ 同时捕捉了节点属性和网络结构。

联合损失函数

$$\begin{array}{rl}\mathcal{L}& ={\mathcal{L}}_{sg}+\alpha {\mathcal{L}}_{ae}+\beta {\mathcal{L}}_{reg}\\ & =-\sum _{i=1}^n\sum _{c\in C-b\le j\le b,j̸=0}\log \frac{\exp \left({\mathbf{u}}_{i+j}^{\mathrm{T}}{\mathbf{y}}_i^{(K)}\right)}{{\sum }_{v=1}^n\exp \left({\mathbf{u}}_v^{\mathrm{T}}{\mathbf{y}}_i^{(K)}\right)}\\ & +\alpha \sum _{i=1}^n{\Vert {\hat{\mathbf{x}}}_i-T\left(v_i\right)\Vert }_2^2+\frac{\beta }{2}\sum _{k=1}^K\left({\Vert {\mathbf{W}}^{(k)}\Vert }_F^2+{\Vert {\hat{\mathbf{W}}}^{(k)}\Vert }_F^2\right)\end{array}$$

其中n是节点总数，C是随机游走产生的节点序列，b是窗口大小。${\mathbf{x}}_i$表示节点 $v_i$ 的属性，${\mathbf{y}}_i^{(K)}$ 是节点 $v_i$ 的表示。${\mathbf{W}}^{(k)},{\mathbf{W}}^{(k)}$ 分别是encoder和decoder第k层的权重矩阵。$\mathbf{U}$ 是图结构上下文预测部分的权重矩阵，${\mathbf{u}}_{\mathbf{v}}$ 是$\mathbf{U}$ 的第v列。

训练

Q&A

1. $f(\cdot )$ 具体的作用和最终使用的函数

   看了作者源码实现里直接用最后的表示${\mathbf{y}}_i^{(K)}$ 计算skip-gram的loss，并没有使用CNN或RNN。

   def make_skipgram_loss(self):
           loss = tf.reduce_sum(tf.nn.sampled_softmax_loss(
               weights=self.nce_weights,
               biases=self.nce_biases,
               labels=self.labels,
               inputs=self.Y,
               num_sampled=self.config.num_sampled,
               num_classes=self.N))
   
           return loss
   

2. ${\mathcal{L}}_{sg}$和 ${\mathcal{L}}_{\text{ ae }}$ 为什么不能同时优化？不同时优化，分步进行的先后顺序是否有影响？

   BiNE中也是两项loss的组合，然后分开优化

3. 文中自编码器的输入和输出不同，与传统的自编码器用法带来的额外好处是什么？