干货！神经时间游走：连续动态图上的表征学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

金明：

澳大利亚蒙纳士大学博士生，师从Shirui Pan (潘世瑞) 与 Yuan-Fang Li (李元放) ；主要研究方向是图机器学习，包括但不限于动态图神经网络，时空图预测，图谱神经网络等

01

介绍

该文针对的是Continuous-Time Dynamic Graphs，也就是说边和点会随着时间增删。

文章认为当前时序图神经网络(DGNNs)存在两大挑战：

• 动态图不能用常规静态GNN。

• 时序事件的不均匀分布。

这项工作是CAW(ICLR 21)的改良。具体区别：

• 在采样时除了时间信息，还会考虑其他更多信息。

• 这个工作提出了一种motif的嵌入方法。

• 使用pretext task作为训练目标。

02

定义

本文使用的是时序交互流，每次交互都有两个点和一个时间戳。

文章的目标就是得到某个时刻的和的特征和，再通过一个预测他们之间是否会出现关联。

03

模型

我们采用类似 UNISURF 的 occupancy field 来表征场景几何。UNISURF 通过 MLP 将 3D 点坐标及视线方向映射到该点的 occupancy 值和颜色，并通过立体渲染得到像素的颜色，

时序游走：时刻之前有交互的一个点，提取它的所有交互。定义从出发的随机游走:

其中是满足的最小索引。

这步操作实际上就是给每个游走中的点重新编号，让模型不能知道不同游走间是否有同一个点，而只让模型去关注结构信息。

此外，文章后面还提到了一个binary的版本。由于目标就是去预测两点的相互作用，所以对于根节点和和它们的游走组和，存在的共同游走，匿名操作可以是：

后面会用来表示已经匿名了的游走组。

时序游走采样：以往的工作在计算下一个点的概率的方法是，也就是时间越接近越有可能选择。

文中提出了一个增加考虑拓扑信息和树遍历属性的采样方式。动机有两个：

• 越接近的点应该采样概率越大(∝ exp(αt´-t)))

• 度越大的点月应该被采样(∝ exp(-β/d))

这两个概率在实际使用时会进行归一

算法伪代码：

算法1的做法还有隐患，它会过分鼓励进行深度优先搜索，进而难以进行均匀的motif采样，所以增加了第三个概率()，这个指的就是点已遍历的次数，也就是被采样的次数越多，再次被采样的概率就越小

04

编码

其中的ODESolve是GRU：

最后的是RNN网络

Loss部分，就涉及到之前说过的pretext task了。

也就是说，得到两点特征后，用mlp做预测。预测结果(0,1)做e的指数，范围是(1,e)。log里最理想的情况是，其中n是负样本数量。这样的loss确实会比一般的更难学习。

此外，如果提供了点和边的特征，可以在RNN里拼入MLP得到的结果中。

整体的训练过程：

05

实验

数据集

实验结果

提

醒

点击“阅读原文”跳转到27:23可以查看回放哦！

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1000多位海内外讲者，举办了逾500场活动，超500万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看回放！