整理了2020年以来10余篇图神经网络和知识图谱的综述性文章,包含图网络的基础性质研究,加速方法,各种场景如物理,医学上的应用;知识图谱的使用方法及其应用研究。
由于综述性文章总是很长,甚至有上百页的,所以列下来的文章会有一个大体描述和一些包含的模型,问题的小清单,如果想细致了解还是需要看原文。
主要包括图网络和知识图谱2大方面:
图网络相关综述:
图网络基础 Graph Neural Networks: Methods, Applications, and Opportunities
图网络的谱域空域 Bridging the Gap between Spatial and Spectral Domains:A Survey on Graph Neural Networks
图网络自监督 Self-Supervised Learning of Graph Neural Networks: A Unified Review
图网络结构学习 Deep Graph Structure Learning for Robust Representations: A Survey
图网络解释性 Explainability in Graph Neural Networks: A Taxonomic Survey
图网络的计算问题 - Computing Graph Neural Networks: A Survey from Algorithms to Accelerators
图网络+医学(脑科学为主)Graph-Based Deep Learning for Medical Diagnosis and Analysis: Past, Present and Future
图网络+交通 Graph Neural Network for Traffic Forecasting: A Survey
图网络+NLP Graph Neural Networks for Natural Language Processing: A Survey
图网络+电力系统 A Review of Graph Neural Networks and Their Applications in Power Systems
图网络+粒子物理 Graph Neural Networks in Particle Physics
图网络+符号表示 Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
图网络+推荐 Graph Neural Networks in Recommender Systems: A Survey
知识图谱相关综述:
知识图谱基础 A Survey on Knowledge Graphs: Representation, Acquisition and Applications
知识图谱的RDF与SPARQL A Survey of RDF Stores & SPARQL Engines for Querying Knowledge Graphs System
知识图谱+推荐 Deep Learning on Knowledge Graph for Recommender System: A Survey
知识图谱+实体对齐 A Comprehensive Survey on Knowledge Graph Entity Alignment via Representation Learning System: A Survey
知识图谱+药物发现 A Review of Biomedical Datasets Relating to Drug Discovery: A Knowledge Graph Perspective
下面是每个综述的简单介绍。大家可以去下面的群文件打包下载所有综述!
题目:Graph Neural Networks: Methods, Applications, and Opportunities
地址:https://arxiv.org/pdf/2108.10733.pdf
对GNN模型有全面调研,从图的定义开始,到图网络与各种学习方式的结合,并且在应用上作者归纳了各种数据集,且在部分问题上给出了SOTA模型的资源。最后作者分析了GNN的理论挑战分析和实验挑战分析。
无向图;异质图;动态图;属性图;有监督图学习;无监督图学习;弱监督图学习;自监督图学习;loss设计;图网络主要模块。
节点预测;边链接预测;图预测;理论挑战(如深度,鲁棒性);实验挑战(如评估)。
引用数据集;互联网图数据;社交图数据;交易图数据;生物化学图;动态图数据;用户交流数据;自治系统图数据;道路数据。
社交网络;物理网络;自然语言;电子商务;图像分类;文字识别;化学分子;药物副作用;推荐系统。
题目:Bridging the Gap between Spatial and Spectral Domains: A Survey on Graph Neural Networks
地址:https://arxiv.org/pdf/2002.11867.pdf
为谱域空域的方法提出分类法,且将空间和光谱模型统一为通用模型,分析了在这种框架下主流理论问题,如过平滑。
空域与谱域关系;GCN;GraphSage;GIN;ChebNet;DCNN;SGC;PPNP;ARMA;线性近似;多项式近似;有理近似。
采样;过平滑。
题目:Self-Supervised Learning of Graph Neural Networks: A Unified Review
地址:https://arxiv.org/pdf/2102.10757.pdf
提供了有关图网络自监督的基础模型介绍,并将这些方法统一到一个框架下。作者总结了图网络自监督方法的任务设置和常用数据集,最后介绍了用于图自监督的标准化测试平台。
对比学习;最大熵估计;DV估计;JS估计;InfoNCE;无界互信息估计;图生成;节点变化;边变化;采样变化;图编码器;预测学习;图重建;图性质预测;多阶自训练。
图级别Inductive learning;节点级别Transductive learning。
题目:Deep Graph Structure Learning for Robust Representations: A Survey
地址:https://arxiv.org/pdf/2103.03036.pdf
作者主要介绍了图网络结构学习的各种方法,并将其统一成一般范式,然后对它们进行分类分析。最后提出了未来图结构学习的应用挑战。
度量方法;核方法;注意力方法;概率模型;直接优化方法。
异质图的结构;属性图的结构;大规模数据;任务不可知的图结构。
题目:Explainability in Graph Neural Networks: A Taxonomic Survey
地址:https://arxiv.org/pdf/2012.15445.pdf
本篇文章提出了每种GNN解释方法,并分析了它们的差异。对于评估部分作者总结了目前图网络解释性的评估数据集和指标。
GNNExplainer;PGExplainer;GraphMask;ZORRO;Causal Screening;SubgraphX;GraphLime;RelEx;PGM-Explainer;LRP;Excitation BP;GNN-LRP;XGNN。
模拟数据集;情感分类数据;分子数据;置信度评估指标。
题目:Computing Graph Neural Networks: A Survey from Algorithms to Accelerators
地址:https://arxiv.org/pdf/2010.00130.pdf
这篇文章首先从统一框架角度介绍了GNN的基础知识,然后介绍了各种模型的演变和发展史,进而分析GNN的矩阵计算方法和软硬件加速方案。
预处理;节点迭代更新;解码或ReadOut;GNN inference;GNN Training;图网络发展史;分类与GNN结合的不同网络模型。
软件及框架;硬件加速。
硬件软件交叉;图本身加速;以通信为中心的设计。
题目:Graph-Based Deep Learning for Medical Diagnosis and Analysis: Past, Present and Future
地址:https://arxiv.org/pdf/2105.13137.pdf
本文首先对多种GNN模型进行回顾,并且分析了为什么这些GNN模型可以用于医学数据,还给了实际例子进行分析。同时,作者也分析了目前GNN应用于医学任务的不足之处,并提出了未来的挑战。
大脑活跃分析;大脑图像表征;分割和自动标注;多模态数据分析;自闭症检测;精神分裂症;注意力缺陷;重度抑郁;性别判断;大脑应答;大脑电信号;癫痫;心脏异常;睡眠;脑肿瘤;阿兹海默症诊断;胸片(X-Ray);乳腺癌;肾病;脑年龄等等。。。
图表征(节点,权重等);动态图;复杂度及高效性;解释性;泛化性;数据标注的规范性;不确定度的量化。
人脸识别系统;位置识别;行为估计。
ChebNet;GCN;RNN+GCN;STGCN;TGCN;attention;GAT
题目:Graph Neural Network for Traffic Forecasting: A Survey
地址:https://arxiv.org/pdf/2101.11174.pdf
对18-20年的图网络用于交通的应用做了全面调研,收集了各种交通数据集,并且分析了应用于交通的图网络未来存在的任务挑战。
道路级别图;区域级别图;车站级别图;交通中的邻接矩阵构造;各个paper用到的图网络总结。
交通流;交通速度;交通需求;异质图的交通;多任务;落地执行;模型解释性;中心化数据存储;结合其他模型包括元学习,自动机器学习。
开放数据集介绍;出租车数据;打车服务数据;自行车数据;地铁数据;常用开源软件介绍。
题目:Graph Neural Networks for Natural Language Processing: A Survey
地址:https://arxiv.org/pdf/2106.06090.pdf
作者提出了针对NLP的GNN分类方法,并且分析了这些分类方法下的各种模型。作者举例分析了怎样将GNN嵌入到NLP的方法,并提供了相应的数据集。最后也对未来GNN应用于NLP的挑战和探索方向提出了建议。
随机游走;图聚类;图匹配;标签传播;GCN;MPNN;GAT;GGNN;Graph Pooling;R-GCN;R-GAT;Transformer;HAN;MEIRec;HGAT;MHGRN;HGT;Graph2Seq;Graph2Tree;Graph2Graph。
语义依存;AMR;信息抽取;知识图谱构建;指代图构建;话题图构建;NL2SQL;动态图构建;问答;机器阅读;对话系统;文本分类;文本匹配;话题建模;推理;语义角色标注。
每个应用会对应一个评估用的数据集。有介绍开源工具,如Graph4NLP,DGL。
题目:A Review of Graph Neural Networks and Their Applications in Power Systems
地址:https://arxiv.org/ftp/arxiv/papers/2101/2101.10025.pdf
这篇文章主要侧重于电力系统的应用分析,介绍了GNN的经典范式和其应用于电力系统的各种形式。最后讨论了在电力系统中GNN的优势和局限性。
GCN;DCNN;GRNN;GAT;GGAN;GNN的混合模式
故障场景应用;时间序列预测;功率通量计算;数据生成。
题目:Graph Neural Networks in Particle Physics
地址:https://arxiv.org/pdf/2007.13681.pdf
本文侧重于GNN在HEP上的应用,主要在于对于不同任务如何构建一个GNN。
GNN;注意力机制
射流分级;事件分类;热量计重构;颗粒流重建;粒子跟踪等等。。。(不太会翻译了)
题目:Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
地址:https://arxiv.org/pdf/2003.00330.pdf
对GNN和符号计算之间做了调研分析,介绍了以往神经系统用于符号表示的方法和图网络如何应用于符号计算,最后提出了进一步的研究方向。
逻辑网络;指针网络;卷积网络;自注意力;GCN;GAT。
关系学习;原因表示;组合优化;约束满足。
题目:Graph Neural Networks in Recommender Systems: A Survey
地址:https://arxiv.org/pdf/2011.02260.pdf
针对推荐系统提出了GNN的用于不同任务的分类方法,并对这些方法进行了阐述分析,最后也分析了未来存在的挑战和可能的方向。
GCN;GraphSage;GAT;图构建方法;邻居聚合;信息更新;节点表征;朋友影响的数据增强;偏好整合;知识图谱增强;序列信息整合。
CTR预测;POI针对性预测;群组推荐;捆绑推荐;异质图推荐;多样化和不确定性;大规模图;动态图;推荐里的对抗学习。
#知识图谱
题目:A Survey on Knowledge Graphs: Representation, Acquisition and Applications
地址:https://arxiv.org/pdf/2002.00388.pdf
介绍并比较知识图谱表示学习和推理的主要神经网络模型,并且针对简要介绍了不同任务的模型,对于日前最常见的方法也做了分析。最后分析了各个类别的重点和未来方向。
表征空间方法;评分函数;编码模型;嵌入辅助信息;时序信息编码;动态实体;带时间的关系依存;带时间的逻辑推理;语言表征方法;问答方法;推荐系统。
知识图谱补全;实体发现;关系抽取;复杂关系;统一框架;解释性;大规模数据;知识聚合;自动构建和动态图。
题目:A Survey of RDF Stores & SPARQL Engines for Querying Knowledge Graphs System: A Survey
地址:https://arxiv.org/pdf/2102.13027.pdf
这篇文章主要是针对如何处理知识图谱数据库的,包含如何存储各种数据,索引,处理,查询等方法。
三元组表(Triple table);垂直分割;扩展垂直分割;属性表;图存储;张量存储;混合存储;三元组索引;实体索引;属性索引;路径索引;结构索引;链接处理;查询处理等。
题目:Deep Learning on Knowledge Graph for Recommender System: A Survey
地址:https://arxiv.org/pdf/2004.00387.pdf
分析介绍了基于知识图谱的GNN的各种组件,并说明了如何运用于推荐系统。对于一些代表性问题也做了分析介绍。作者提供了部分数据,并对未来的发展和研究方向提出了一些建议。
GNN中的Aggregator与Updater;MEIRec;GraphRec;V2HT;DGRec;KGNN-SL;KGCN;KGAT;DANSER;RecoGCN;PinSage;STAR-GCN;IntentGC。
冷启动;大规模数据下的延展性(Scalability);个性化推荐;动态模型;解释性;公平性;交叉领域。
包括常见数据集与评估指标
题目:A Comprehensive Survey on Knowledge Graph Entity Alignment via Representation Learning System: A Survey
地址:https://arxiv.org/pdf/2103.15059v1.pdf
对目前的实体对齐方法及其背后的模型做了基础调研,并分析了不同方法之间的差异。最后作者介绍了评估用的常用数据库。
TransE;GCN;GAT;MTransE;IPTransE;BootEA;NAEA;TransEdge;JAPE;AttrE;MultiKE;COTSAE;GCN-Align;HGCN;RDGCN;GMNN;MuGNN;NMN;CEA;AliNet;MRAEA;EPEA
介绍了多种数据集,并且作者提出了一个自己的数据集。
题目:A Review of Biomedical Datasets Relating to Drug Discovery: A Knowledge Graph Perspective
地址:https://arxiv.org/pdf/2102.10062.pdf
这篇文章主要是介绍的各种数据库,不涉及具体技术。基本涵盖了从基因到药物的所有市面可见的数据库。
实验因素本体数据;疾病本体数据;人体组织本体数据;药物靶点本体;基因数据库;信号通路数据库;疾病数据库;药物分子数据库;药物再利用知识图谱;临床知识图谱等。(主要介绍了非常多的数据资源)