干货!神经时间游走:连续动态图上的表征学习

点击蓝字

干货!神经时间游走:连续动态图上的表征学习_第1张图片

关注我们

AI TIME欢迎每一位AI爱好者的加入!

干货!神经时间游走:连续动态图上的表征学习_第2张图片

干货!神经时间游走:连续动态图上的表征学习_第3张图片

金明:

澳大利亚蒙纳士大学博士生,师从Shirui Pan (潘世瑞) 与 Yuan-Fang Li (李元放) ;主要研究方向是图机器学习,包括但不限于动态图神经网络,时空图预测,图谱神经网络等

01

介绍

该文针对的是Continuous-Time Dynamic Graphs,也就是说边和点会随着时间增删。

文章认为当前时序图神经网络(DGNNs)存在两大挑战:

• 动态图不能用常规静态GNN。

• 时序事件的不均匀分布。

这项工作是CAW(ICLR 21)的改良。具体区别:

• 在采样时除了时间信息,还会考虑其他更多信息。

• 这个工作提出了一种motif的嵌入方法。

• 使用pretext task作为训练目标。

02

定义

本文使用的是时序交互流,每次交互都有两个点和一个时间戳。

文章的目标就是得到某个时刻的和的特征和,再通过一个预测他们之间是否会出现关联。

03

模型

我们采用类似 UNISURF 的 occupancy field 来表征场景几何。UNISURF 通过 MLP 将 3D 点坐标及视线方向映射到该点的 occupancy 值和颜色,并通过立体渲染得到像素的颜色,

时序游走:时刻之前有交互的一个点,提取它的所有交互。定义从出发的随机游走:

干货!神经时间游走:连续动态图上的表征学习_第4张图片

其中是满足的最小索引。

这步操作实际上就是给每个游走中的点重新编号,让模型不能知道不同游走间是否有同一个点,而只让模型去关注结构信息。

此外,文章后面还提到了一个binary的版本。由于目标就是去预测两点的相互作用,所以对于根节点和和它们的游走组和,存在的共同游走,匿名操作可以是:

f823bfaa479213c949c7ae8b15fdc6f4.png

后面会用来表示已经匿名了的游走组。

时序游走采样:以往的工作在计算下一个点的概率的方法是,也就是时间越接近越有可能选择。

文中提出了一个增加考虑拓扑信息和树遍历属性的采样方式。动机有两个:

• 越接近的点应该采样概率越大(∝ exp(αt´-t)))

• 度越大的点月应该被采样(∝ exp(-β/d))

这两个概率在实际使用时会进行归一

算法伪代码:

干货!神经时间游走:连续动态图上的表征学习_第5张图片

算法1的做法还有隐患,它会过分鼓励进行深度优先搜索,进而难以进行均匀的motif采样,所以增加了第三个概率(),这个指的就是点已遍历的次数,也就是被采样的次数越多,再次被采样的概率就越小

04

编码

干货!神经时间游走:连续动态图上的表征学习_第6张图片

其中的ODESolve是GRU:

干货!神经时间游走:连续动态图上的表征学习_第7张图片

最后的是RNN网络

Loss部分,就涉及到之前说过的pretext task了。

干货!神经时间游走:连续动态图上的表征学习_第8张图片

也就是说,得到两点特征后,用mlp做预测。预测结果(0,1)做e的指数,范围是(1,e)。log里最理想的情况是,其中n是负样本数量。这样的loss确实会比一般的更难学习。

此外,如果提供了点和边的特征,可以在RNN里拼入MLP得到的结果中。

整体的训练过程:

干货!神经时间游走:连续动态图上的表征学习_第9张图片

05

实验

数据集

干货!神经时间游走:连续动态图上的表征学习_第10张图片

实验结果

干货!神经时间游走:连续动态图上的表征学习_第11张图片

干货!神经时间游走:连续动态图上的表征学习_第12张图片

干货!神经时间游走:连续动态图上的表征学习_第13张图片

干货!神经时间游走:连续动态图上的表征学习_第14张图片

点击“阅读原文”跳转到27:23可以查看回放哦!

往期精彩文章推荐

干货!神经时间游走:连续动态图上的表征学习_第15张图片

记得关注我们呀!每天都有新知识!

 关于AI TIME 

AI TIME源起于2019年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。

迄今为止,AI TIME已经邀请了1000多位海内外讲者,举办了逾500场活动,超500万人次观看。

干货!神经时间游走:连续动态图上的表征学习_第16张图片

我知道你

在看

~

4fed57f379ab93e78be8ec64156903ff.gif

点击 阅读原文 查看回放!

你可能感兴趣的:(学习,机器学习,人工智能,深度学习,算法)