异质信息网络表征学习综述

摘要

信息网络表征学习的目的：
利用网络的拓扑结构 、节点内容等信息将节点嵌入到低维的向量空间中 ,同时保留原始网络固有的结构特征和内容特征 ,从而使节点的分类、聚类、链路预测等网络分析任务能够基于低维、稠密的向量完成。【一种降维技术】

---

引言

信息网络表征学习，也被称为表示学习或嵌入学习。
在嵌入过程中 ,高出(入)度节点的结构和内容信息可用于辅助低出(入)度节点的结构或语义特征的表示 ,从而有效缓解网络数据稀疏性问题 。通过嵌入 ,网络中的任意节点均可以用 一个低维的稠密向量来表示,使得网络结构/语义的 相关性能够快速计算出来 ,为网络可视化 、节点分 类、聚类以及链路预测、Facebook 搜索、社区检 测、微博用户标记等网络分析任务提供有力的支持。

如下图，将一个网络映射到二维向量空间中；不同颜色代表不同属性，相同属性映射后在低维空间中会比较相近。

---

异质信息网络的表征学习不仅能够有效缓解网络数据高维 、稀疏性问题 ,还能融合网络中不同类型的异质信息 ,使学习到的特征表示更有意义和价值。

---

相关知识

网络表征学习常使用一阶邻近性和高阶邻近性表示节点间邻域结构的相似程度，使用属性相似性表示节点间属性特征的相似程度。

• 一节邻近性：
  给定网络$G=(V,\epsilon )$，节点$v_i\in V$和$v_j\in V$之间的一阶邻近性定义为$v_i$和$v_j$之间边上的权重；
  权重越大，$v_i$和$v_j$之间的邻近程度越高。
• 高阶邻近性：
  给定网络$G=(V,\epsilon )$，设$A$为网络$G$的邻接矩阵，${\hat{A}}^t$是从$A$的行归一化获得的$k$步概率转移矩阵，即${\hat{A}}^t=\underset{k}{{\hat{A}}^1\cdots {\hat{A}}^1}$,$M={\hat{A}}^1+{\hat{A}}^2+\cdots {\hat{A}}^k$，则节点$v_i$和$v_j$之间的$k$阶邻近性定义为$M$的行向量$M_i$和$M_j$之间的相似性，即$s_{ij}^{(k)}=sim(M_i,M_j)$，,其中相似性函数$sim()$可以是欧几 里得距离或余弦相似度。
• 属性相似度：
  给定网络$G=(V,\epsilon ,F)$，其中$F$是网络中节点的属性特征矩阵，节点$v_i$和$v_j$之间的属性相似性定义为$F$的行向量$F_i$和$F_j$之间的相似性，即$s_{ij}^{(k)}=sim(F_i,F_j)$。

---

• 属性同质网络 (AHoN)：
  如果一个同质网络中每个节点都带有描述其性质的属性 ,则称该网络为属性同质网络 (AHoN)。

• 结构异质网络 (SHeN)：
  只用一个网络$G=(V,\epsilon )$表示 ,节点和边具有不同类型。

• 属性异质网络 (AHeN)：
  只用一个网络表示,节点和边具有不同类型 ,同时每个节点都有描述其属性的特征 ,表示为$G=(N,\epsilon ,F)$。其中属性 特征矩阵$F=[F_1,F_2,...,F_i,...,F_{|N|}{]}^T$将所有类 型节点的属性连接在一起 ,$F$的行向量$F_i$表示第i 个节点$v_i\in N$的属性特征。

例子：

• 上图中$G=(N,\epsilon ,F)$，是一个属性异质网络。
• 节点$N=\{a_1,a_2,a_3,a_4,p_1,p_2,p_3,p_4,v_1,v_2\}$
• 边$\epsilon =\{a_1{p}_1,p_1{v}_1,\cdots \}$
• 节点映射函数：$\phi :N\to \{A,P,V\}$
• 边映射函数：$\epsilon \to \{撰写,发表,引用\}$
• 属性矩阵$F=\{F_1,F_2,\cdots ,F_{10}{\}}^T$

• 多层网络 (MLN)：
  多层网络 (也称为耦合异质网络 )由多个不同但相关的子网络组成 ,这些子网络通过网络间的边相连 。

• “不同 ”是指各个子网的节点类型不同 ,“相关 ”是指不同子网的节点之间具有特定类型的交互或关系 (跨层网络依赖)。

• 跨层网络依赖在某种程度上蕴含了节点邻近度 ,对网络内的边提供补充 信息 ,使隐特征更加全面和准确 ,有效缓解由于网络 内的边缺失带来的冷启动问题 ,对于理解整个系统 至关重要 。
  

• 多视图网络 (MVN)：
  多视图网络包含多个网络或多个视图 ,每个视图对应一种类型的边,不同视图中的节点集可以相同 ,也可以不同。【视图之间可以有共享节点 ,不同视图的边集没有交集。】
  同一视图中 节点的类型可以相同 (同质视图 ,homo-view ),也可 以不同 (异质视图 ,heter-view)。

例子：

• 多重异质网络 (MHeN)：
  多重异质网络是一对节点之间可以有多种链接类型的异质网络 ,也称多关系网络 。

例子：

• 多分辨率多网络 (MRMIN):没看懂
• 异质特征网络 (HeFN)：
  异质特征网络是指一个同质网络中的节点具有从多个视图收集的一组特征。

令$\{F^{(i)}\},i=1,2,...,I$是从$I$个不同的视图为$N$个实例收集的一组相关特征矩阵 ,其中最后一 个特征矩阵$F^{(I)}=G$为描述$N$个实例之间关系的加权邻接矩阵.
比如亚马逊上的产品有产品信息和客户评论等多种描述 ,这些描述相互补充,可用于构 建$\{F(i)\}$;而客户的购买记录可用于构建$G$。

---

异质特征网络HeFN与属性异质网络AHeN 和属性多重异质网络 AMHeN的差异在于：

• AHeN 关注单个异质网络和单个特征矩阵；
• HeFN致力于 单个同质网络和多个特征矩阵；
• 而 AMHeN涉及多个异质网络和单个特征矩阵 。

• 动态异质网络 (DHeN)：
  动态异质网络是带 有时间戳的异质网络的集合 ,表示为$G=(N,\epsilon ,T)$。
  $T=\{1,2,\cdots ,z\}$是时间戳的集合，$G^t=(N^t,{\epsilon }^t)(t\in T)$表示时间戳为$t$时的静态异质网络。注意：在所有时间戳$t$当 中,节点的类型和边的类型保持不变。

---

表征学习目标：
学习网络中节点的低维向量$H\in R^{|N|\times d}$,同时保留原始网络中节点之间的结构和语义相关性 (比如一 阶邻近性和高阶邻近性 ),其中$d$是嵌入维度 ,$|N|$表示节点数目 ,$d<<|N|$。对于属性网络 ,$H$需要保留节点属性间的相似性。

---

常用技术

• 随机游走：
  一种经典的图分析模型，常用于刻画网络中节点间的可达性，被广泛应用于网络表征学习中。
  在同质信息网络中，节点类型单一，游走可以沿任意的路径进行；
  在异质信息网络中，由于节点 /边的类型不同，游走可以对节点序列施加类型约束，确保将不同类型节点之间的语义关系融合到嵌入模型中 , 更好地抽取网络中的结构信息。针对描述节点属性的特征矩阵 ,还可以根据特征间的相似性进行游走。

异质信息网络中的随机游走可以分为结构游走和特征游走 ,前者捕捉节点间的结构邻近性，后者捕捉节点间的属性邻近性。

• 结构游走：
  结构游走基于网络的拓扑结构获取节点序列，包括基于元路径、元图或网络模式的随机游走。

• 特征游走：
  特征游走基于描述节点属性的特征矩阵获得节点序列。

• 特征游走不直接计算任何实例对之间的相似度,有效缓解了大规模网络中相似度计算时间、空间复杂度高的问题 ,并且各个特征矩阵上的游走可以按分布式的方式进行 ,使游走具有可扩展性。

• 尽管各个特征矩阵异质，但是在各个特征矩阵上游走获得的均是同质的节点序列，可以与结构游走获得的节点序列一同处理，自然融合了网络的结构和节点的多种属性信息。

---

负采样：
表征学习过程中,应尽量使每个中心节点与其邻居彼此靠近(嵌入向量相似)并远离所有其他节点。其他节点很多 ,为了减少计算成本，负采样 (NS)随机采样少量非邻居节点(负样本),中心节点只需要远离负样本即可。

• 许多算法在使用 NS时,负样本是从所有样本$N$中随机选择，因此节点的邻居也可能被选择为负样本，这会带来 “流行邻居问题 ”，即度高的节点比度低的节点被选择的可能性大，导致度高节点的嵌入过度收缩，效果不佳。对于邻居节点的度也很高的节点,情况更糟。