技术沙龙 | 图神经网络(GNN)最新研究进展分享
由于深度学习在可推理和可解释性方面的局限性，结合图计算与深度学习的图神经网络 ( GNN ) 成为近期学术界和工业界研究的热点新方向之一，并在社交网络、推荐系统等领域得到了广泛的应用。
本次技术沙龙，由北京邮电大学 GAMMA Lab 博士生纪厚业出品，邀请来自澳洲国立大学、蒙特利尔大学、UIUC、中科院自动化所等国内外知名高校的5位嘉宾，与大家分享交流，一起探讨GNN在学术界的最新研究进展。
沙龙名称：图神经网络(GNN)最新研究进展
活动主办：美团、图与推荐、DataFunTalk
直播时间：2021年2月27日(本周六)，09:30-12:00
直播地点：DataFunTalk直播间
01
分享日程
02
详细介绍
出品人：
纪厚业
北京邮电大学 GAMMA Lab | 博士生
阿里 / 微信 Research Intern，在 AAAI / WWW / EMNLP 等顶会上发表多篇论文，引用290+， 担任 AAAI / WSDM / ACL / Access 等会议期刊审稿人。
分享嘉宾：
01
祝浩
澳洲国立大学 | 博士生
前京东金融技术专家，主要从事反欺诈反面的工作。现在在澳洲国立大学攻读博士。对AI有广泛的兴趣，发表十余篇论文于ICLR, IJCAI, ACMMM, ICDE, NAACL, ACCV, ICASSP等会议。
分享主题：一种简单的谱图卷积
议题介绍：本演讲主要介绍我们在 ICLR2021 上被收录的工作。图卷积网络 ( Graph Convolutional Networks，GCNs ) 已经引起了人们的极大关注，并成为学习图表示的主要方法。当模型的深度增加时，大多数GCNs都会遭受性能损失。与CNN类似，如果没有特别设计的架构，网络的性能会随着深度的增加而迅速下降。一些研究者认为，所需的邻域大小和神经网络深度是图表示的两个完全正交的方面。因此，一些方法在使用浅层神经网络的同时，通过聚合节点的k-跳邻域来扩展邻域。然而，这些方法仍然会遇到过平滑、计算和存储成本高的问题。在论文中，我们使用一个改进的马尔科夫扩散核来推导出一种名为简单谱图卷积 ( S2GC ) 的GCN变体。我们的频谱分析表明，我们在S2GC中使用的简单频谱图卷积是一种低通和高通滤波器的权衡，它可以捕获每个节点的全局和局部上下文。我们提供了两个理论主张，证明与竞争对手相比，我们可以在一个越来越大的邻域序列上进行聚合，同时限制严重的过平滑。
听众收益：了解关于简化谱卷积的相关工作，因为这一类卷积方式在实际使用过程中 ( 也就是homophily比较高的图 ) 具有很多不错的性质。比如算的快，稳定，性能优异等。
新技术/实用技术点：Graph Neural Networks图卷积网络
02
王苏羽晨
蒙特利尔大学 | 博士生
北京航空航天大学高等理工学院计算机科学学士，目前在蒙特利尔大学/MILA研究所攻读计算机科学博士学位，主要研究方向为自然语言处理。曾在腾讯天衍实验室作为研究实习生进行NLP相关研究。
分享主题：充分利用层级结构的分类树扩展算法
议题介绍：分类树作为一种描述上下位词关系的层级状知识图谱在包括电子商务、数据库索引等应用领域有广泛应用。本次报告将介绍我们在WWW2021关于分类树扩展算法的新工作，该算法相比已有算法能更加充分地利用分类树的层级特征，且对概念的理解具有更好的实时性和准确性，大幅提升了将新概念添加至分类树适当位置的准确性。
听众收益：观众可以借此了解在分类树相关算法上的最新工作，以及对于我们最新工作的更好了解。
新技术/实用技术点：目录树扩展算法（Taxonomy expansion algorithms）
03
簡翌
UIUC | Ph.D Candidate
Eli Chien is currently a Ph.D. candidate in the department of Electrical and Computer Engineering at the University of Illinois Urbana-Champaign. He works on a broad range of problems related to algorithms to process the non-Euclidean data, including (hyper)graph and hyperbolic space. His researches mainly focus on connecting theory and practice by developing and analyzing principled algorithms. Specifically, his recent research results include Generalized PageRank algorithm, theory for graph neural networks, active learning on (hyper)graphs, hypergraph analysis for biology applications and learning in hyperbolic/product space. Previously, he also works on semi-supervised k-means problem, support estimation problem and statistical modeling for hypergraphs. His works got published in TIT, NeurIPS, ICLR, AISTATS, AAAI, ISIT and ICASSP.
彭建浩
UIUC | Ph.D Candidate
Education: Current PhD student in ECE department of Univerity of Illinois, Urbana-Champaign (UIUC). M.S degree from UIUC, B.S degree from South China Univeristy of Technology.
Work Experience: Internships in Amazon Search Science and Artificial Intelligence.
Research Interest: Computational biology, online learning, graph neural networks.
Ongoing work: learning on hypergraph, online network dictionary learning.
分享主题：Adaptive Universal Generalized PageRank Graph Neural Network
内容摘要：In many important graph data processing applications, the acquired information includes both node features and observations of the graph topology. Graph neural networks (GNNs) are designed to exploit both sources of evidence but they do not optimally trade-off their utility and integrate them in a manner that is also universal. Here, universality refers to independence on homophily or heterophily graph assumptions. We address these issues by introducing a new Generalized PageRank (GPR) GNN architecture that adaptively learns the GPR weights so as to jointly optimize node feature and topological information extraction, regardless of the extent to which the node labels are homophilic or heterophilic. Learned GPR weights automatically adjust to the node label pattern, irrelevant on the type of initialization, and thereby guarantee excellent learning performance for label patterns that are usually hard to handle. Furthermore, they allow one to avoid feature over-smoothing, a process which renders feature information nondiscriminative, without requiring the network to be shallow. Our accompanying theoretical analysis of the GPR-GNN method is facilitated by novel synthetic benchmark datasets generated by the so-called contextual stochastic block model. We also compare the performance of our GNN architecture with that of several state-of-the-art GNNs on the problem of node-classification, using well-known benchmark homophilic and heterophilic datasets. The results demonstrate that GPR-GNN offers significant performance improvement compared to existing techniques on both synthetic and benchmark data.
听众收益：Learn how GPR-GNN simultaneously resolves fundamental weaknesses in GNNs, including:
adapt to arbitrary level of homophily and heterophily
make use of long path information and prevent over-smoothing
resolve over-fitting problem
Interpretability of learned weights in GPR-GNN
新技术/实用技术点：
Generalized PageRank.
Optimal polynomial graph filtering (adapts to heterophilic graph data)
Prevent over-smoothing
04
朱彦樵
中国科学院自动化研究所 | 硕士研究生
朱彦樵目前在中国科学院自动化研究所攻读计算机科学硕士。他目前的研究兴趣是图表达学习及其在推荐系统中的应用，已在领域内知名会议如AAAI、WWW和SIGIR上发表多篇论文，论文被引用超过290次。
分享主题：Recent Progress on Graph Contrastive Learinng
内容摘要：Self-supervised learning (SSL) has been studied extensively for alleviating the label scarcity problem of deep models. Recent SSL techniques are converging around the central theme of contrastive learning (CL), which aims to maximize the agreement of representations under multiple views of input data. However, the development of CL for graph-structured data remains nascent. In this talk, I will introduce recent progress on graph CL. In particular, I will introduce a general graph CL paradigm and our recent work on graph CL with adaptive augmentation. Moreover, I will share some thoughts and outline future directions regarding this topic.
听众收益：听众可以了解自监督表达学习在图结构数据上的最新研究进展——图对比学习。
新技术/实用技术点：
图表达学习最新研究进展
图表达学习的一般框架 (GRL+@ICML 2020)
结合结构自适应增强的图表达学习模型 (WWW 2021)
03
直播报名
识别二维码，免费报名
04
相关推荐
美团技术团队：
10000+工程师，如何支撑中国领先的生活服务电子商务平台？4.6亿消费者、630万商户、2000多个行业、几千亿交易额背后是哪些技术？这里是美团、大众点评、美团外卖、美团配送、美团优选等技术团队的对外窗口。
图与推荐：
一位在中科院/淘宝/达摩院/蚂蚁金服/华为做过图神经网络技术分享的算法大佬。本科懵懂，在化学系刷试管；后来去读了计算机博士，会写一点代码，发过算法顶会论文，也做过十亿级场景的算法落地。希望能分享一些图神经网络/推荐系统/博士科研/工业实践中的一点经验~ 人生苦短，及时行乐。
DataFunTalk：
专注于大数据、人工智能技术应用的分享与交流。发起于2017年，在北京、上海、深圳、杭州等城市举办超过100场线下沙龙、论坛及峰会，已邀请近600位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章300+，百万+阅读，9万+精准粉丝。
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文，进入 OpenKG 网站。