文献阅读(七)ICLR2019-DyREP:Learing Representations over Dynamic Graphs

本文是对《DyREP:Learing Representations over Dynamic Graphs》一文的浅显翻译与理解,原文章已上传至个人资源,如有侵权即刻删除。
更多网络表示学习相关文章,请移步:文献阅读总结:网络表示学习

文章目录

  • 前言
  • Title
  • Main Body
    • 动态图描述
    • 节点表征
    • 参数与损失函数

前言

本文提出了动态图上的的表示学习算法 DyREP,当前大部分算法都是直推式学习,即针对特定的网络环境所学习出的网络表示,一旦网络结构发生改变,直推式学习就需要进行重新训练。而本文提出的是归纳式学习的算法,不再学习节点的固定表示,而是学习节点的表示方法,这样即便结构改变,也能很容易得到新的节点表示。

学习节点的表示方法,即学习节点信息如何通过其邻居节点聚合而来的,学习到了相关的聚合函数,本身又知道节点的特征和邻居关系,就可以很容易得到新节点的表示。

该算法将网络中的演变视为两种情况,一种是关联演变(association),即拓扑结构发生变化;另一种是社交演变(communication),即节点发生交互行为。该算法认为一个节点的表示由三个部分组成:
一是 Localized Embedding Propagaion,局部嵌入传播,即节点邻居的信息通过节点聚合后传播给其它节点,这一聚合的过程会对节点表示的形成产生影响;
二是 Self-Propagation,自传播,即节点在其所参与的两个事件发生的时间间隔中,可能会受之前表示的影响发生新的改变;
三是 Exogenous Drive,外因驱动,节点可能会受到全局的影响发生改变。

通过训练对应的参数,就能够得到相关节点表示,且这种表示是可以动态变化的。算法引入了注意力机制来不断更新节点邻居所占的权重比例,从而形成了不断更新的局部嵌入传播部分的嵌入,这是最为重要的一部分。因此,模型训练完成后,不仅可以根据时间的变化动态更新节点的表示,还可以对新的节点进行预测。


Title

《DyREP:Learing Representations over Dynamic Graphs》
——ICLR: International Conference on Learning Representations
Author: Rakshit Trivedi, Mehrdad Farajtabar, Prasenjeet Biswal & Hongyuan Zha
Corresponding: Rakshit Trivedi, Mehrdad Farajtabar, Hongyuan Zha


Main Body

动态图描述

在这里插入图片描述
其中{u,v}代表参与事件的两个基点,t 代表时刻,p 是时间窗口 t 中排序好的 p 个观察到的事件集合,k 是一个尺度,k=0 代表拓扑结构演变(association),k=1 代表交互行为(communication)。

节点表征

在这里插入图片描述Localized Embedding Propagaion,局部嵌入传播,事件涉及的两个节点形成一条临时或永久路径,使得信息从一个节点的邻居传播到另一个节点。邻居节点并不参与交互,其信息由节点汇合后传播给另一个节点。
Self-Propagation,自传播,节点的演变受过去位置的影响,而非随机过程。
Exogenous Drive,外因驱动,如在涉及节点的两次全局事件之间会有外因的影响。

h_struct^u,是输出的表示向量,含有注意力机制作用,来自u邻居的聚集函数。
zv(-t_pv)是节点v先前表示的周期性状态。
t_p 是当前时间点,-t_p 是事件前时间点,-t_p^v 是 v 的前一个事件时间点。
在这里插入图片描述
对 max 操作,取每个特征的最大值,向量放在一起,每一维取最大的。
h^i(-t)为邻居节点的传播信息,有:
在这里插入图片描述
W^h 和 b^h 是控制信息传播的参数,z^i(-t)为节点i的最近嵌入。
q_ui(t) 为注意力权重,有:
在这里插入图片描述
S 是根据基础注意力系数 b,及事件发生概率 λ 计算的系数矩阵。
对 u 和 v 在时间 t 有:
文献阅读(七)ICLR2019-DyREP:Learing Representations over Dynamic Graphs_第1张图片
其中 A 为邻接矩阵,更新 A 和 S 的算法如下:
文献阅读(七)ICLR2019-DyREP:Learing Representations over Dynamic Graphs_第2张图片
具体来说,A 只根据关联事件(k=0,结构改变)更新值,S 的值只在两种情况下更新:
(1)当前事件是已建立结构边(A=1,K=1)的节点间交互;
(2)当前事件是一个关联交互(k=0)。
b 是每条边的背景(基础)注意力,是基于邻域大小的统一注意力:
对情况(1),使用事件的强度更新相应 S 项的注意力值;
对情况(2),依然按照(1)的办法执行,只不过由于加入新边,原先节点的权重值就会减少,需要更新,减去(b-b’)值,它们分别对应事件发生后和发生前的基础注意力。

λ 即条件强度函数,其通用定义为:
在这里插入图片描述
在文中的定义为:
文献阅读(七)ICLR2019-DyREP:Learing Representations over Dynamic Graphs_第3张图片
[;]表示连接操作,Wk 作为学习时间尺度特定兼容性的模型参数。
对fk(x),使用 softplus 的修改版本如下:
在这里插入图片描述
φk>0 是在训练部分学习到的标量时间尺度参数,对应从相关过程中产生事件的比率。
在这里插入图片描述

参数与损失函数

在这里插入图片描述
对包含 p 个事件的集合 O,最小化负对数似然有损失函数如下:
在这里插入图片描述
其中后一项表示总的残存概率(事件不发生)。
在这里插入图片描述
由章节2.2得,f(t)=λ(t)S(t),则有:
在这里插入图片描述在这里插入图片描述文献阅读(七)ICLR2019-DyREP:Learing Representations over Dynamic Graphs_第4张图片
以上即为损失函数的推导公式。

你可能感兴趣的:(文献阅读)