青源Talk第42期丨图机器学习-2023 年（时隔两年魏老师第二次讲GNN）

观看和转载地址：https://event.baai.ac.cn/live/696
时间： 2023年08月02日 10:00-12:00
地点： 线上
主办方： 北京智源人工智能研究院

“青源Talk”第42期将于2023年8月2日（星期三）10:00-12:00召开，邀请了中国人民大学高瓴人工智能学院教授魏哲巍进行分享。

本期的主持人为北京航空航天大学副教授王啸 ，将在报告结束后与讲者魏哲巍展开对话，敬请期待，欢迎感兴趣的师友报名参会。

2021 年来讲过一次，因此这一次对近两年的工作进行一个展望。

传统机器学习有独立同分布的假设。也就是训练集和测试集是同分布的，因此可以讲训练集合用于测试集。

图机器学习摒弃了这个假设。（长尾分布）

图卷积神经网络并不来自于 CNN，而是信号处理。

近年来图算法被各大顶会和期刊所青睐。

应用领域

1 图卷积神经网络

图上的信息是图信号。



将向量在笛卡尔积坐标下的特征转换到特征向量构成空间当中。




滤波对于图机器学习的下游任务是非常重要的。




犹豫特征值分解复杂度过高！用多项式可以近似任何函数，并且可以和特征分解交换。

上图：
Lecun提出了最早的特征值 CNN。
然后提出多项式
然后提出见过切比雪夫多项式


有非常非常多的不同的多项式，其实数学上能用的基都可以拿来试一试。因此就提出了下面两个问题。

2 大规模图神经网络

上述工作。期望囊括所有图传播的过程。

下面是创新：

3 动态图神经网络

动态图在实际生活中十分常见。

问题而，传播过程和时序变化，无法解耦。因此无法应用于大规模图。

4 图学习对抗攻击

5 几何图机器学习

总结与展望

受大模型的冲击目前不是很大。而且图机器学习的应用入侵到非人工智能领域。
但是它也有机遇和挑战：它的假设不确定！工业中的专业问题还没找到（目前有推荐和蛋白质预测）！没有基准模型！

Q&A

1.有观点认为transformer是一种图神经网络？您怎么看他们两者的关系？
从特殊情况上（完全图）来看，可以类比。但是如果从图结构的学习上来说，两者不同。

2.RNN 可以用于动态图注意力网络吗？
可以，需要变化

3.有关注超图上的图机器学习吗？
不太多，但是消息传递也用到了。

4.图神经网络安全方面的看法？
5.对图生成领域怎么看？
最火的就是分子生成，例如蛋白质分子生成。

6.风控反欺诈的工作follow谁？
follow蚂蚁金服的工作就可以了，做的比较好。

7.GCN 是否能够有效地提取高阶邻居的信息？
需要加一些trick，来避免过平滑过拟合。
8.如何解决蛋白质三级结构缺失的问题？
目前针对蛋白质特别好的建模方式还没有。
9.入门方向？
把DGL 或者pyg的文档摸清楚，做一个常规实验。然后找一个应用场景，试试。
10.结构回归任务？
11.什么样子的工作是好工作？
一、偏理论多一点的工作比较好。能够给人启发。
二、能够让人觉得可以继续深挖的工作
11.加入您团队更看重什么？
人大高领人工智能学院。看个人对算法、图计算的热情，有一定的编程和机器学习背景。