Disentangled Graph Convolutional Networks解耦图卷积神经网络 ICML 2019
文章目录
- 相关介绍
-
- 摘要
- main contributions
- DisenGCN: the Proposed Model
-
- 1. DisenConv 的基本假设
- 2. The DisenConv Layer
- 理论分析
- 实验部分
-
- 数据集
论文链接：http://proceedings.mlr.press/v97/ma19a.html
相关介绍
摘要
真实世界的图通常是在许多潜在因素的高度复杂交互作用下产生的。现有的图结构数据深度学习方法忽略了潜在因素的纠缠性（entanglement），使得学习表示不具有鲁棒性，难以解释。然而，学习潜在因素的解耦（disentangled）表征的潜在因素具有巨大的挑战，且未有文献讨论此问题。作者提出了一种新的解耦图卷积神经网络，去学习解耦后的节点表示（embedding）。特别的，作者提出了一种新的节点的邻域选择、传递机制（neighborhood routing mechanism），能够动态识别节点和其邻域之间的潜在因素。
main contributions
- 设计了一种全新的解耦图神经网络来学习解耦后的节点表示
- 使用neighborhood routing mechanism来推断每条边能够形成的因素，这种方式是可微的，并且支持归纳学习。（这一部分实际可理解为：原来的网络是将所有邻域节点耦合进行信息传递，解耦网络是将所有的邻域节点解耦为k组，再进行聚合和信息传递）
- 理论分析了neighborhood routing mechanism的收敛性，实验证明其优越性。
DisenGCN: the Proposed Model
1. DisenConv 的基本假设
传统图神经网络的关键部分在于网络层 f ( ⋅ ) f(\cdot) f(⋅),输入为节点及邻域节点的特征，输出为节点的embedding:
y u = f ( x u , { x v : ( u , v ) ∈ G } ) y_u=f(x_u,\left\{x_v:(u,v)\in G \right\}) yu=f(xu,{ xv:(u,v)∈G})，这里的 y u y_u yu即为输出节点的embedding。
作者提出的解耦方式为 y u y_u yu是由 K K K个独立的部分所构成，即 y u = [ c 1 , c 2 , . . . , c K ] y_u=[c_1,c_2,...,c_K] yu=[c1,c2,...,cK]，它们被各自的factor k k k所影响。
这里的难点就在于如何找到这样确切的由factor k k k所影响的 K K K个独立子集组成。这一部分即作者提到的neighborhood routing mechanism，基于以下两个假设：
- 如果子集足够大，且子集内的邻域节点较为相似（被聚类后的节点），那么factor k k k可以被认为是节点 u u u与其邻域节点某个子集有连接的原因。（这一部分实际要求对子集内的邻域节点做聚类，有去噪的作用）。
- 如果节点 u u u与其邻域节点 v v v相似，也可认为factor k k k是节点 u u u与其邻域节点 v v v有连接的原因。
2. The DisenConv Layer
整个DisenConv Layer可以分为以下两个部分：
- 第一个基于节点 i i i的for循环，对每一个节点 i i i根据其 K K K个独立子集进行初始化。这里的基本假设是 Z i , k Z_{i,k} Zi,k可以近似描述节点 i i i的第 k k k个与factor k k k相关联的部分。作者用2范数来确保数据的稳定性防止过拟合。
- 第二个迭代部分是基于中心节点 u u u（即所要学习的节点）的邻居节点 v v v的循环，主要目的是进行信息聚合和传递（即节点的更新）。
这里的 p v , k p_{v,k} pv,k表示节点 u u u和节点 v v v的第 k k k个部分有关联的概率（可以理解为进行信息聚合时的权重）
从公式看类似于一个相似性测度来分配权重。
最后的 c k c_k ck为加权求和，进行节点更新。
理论分析
较为复杂，待更新
实验部分
数据集
