图神经网络系列（三）：应用-数据集、实例、未来方向

图神经网络系列（三）：应用-数据集、实例、未来方向

1. 基准数据集

文章涉及的文献中每个数据集使用的频率，并展示了至少出现两次的数据集

引文网络	文章，作者及其关系（引文，作者，共同作者）
	Cora（ 2708个机器学习出版物，分为7个类 ）
	Citeseer（ 3327篇科学论文，分为6个类 ）
	Pubmed（ 19717**个与糖尿病相关的出版物 ）
社交网络	BlogCatalog（博主和他们的社会关系形成的社交网络 ）
	Reddit（数据集是由Reddit论坛收集的帖子形成的无向图 ）
	Epinions（数据集是从在线产品评论网站收集的多关系图，其中评论者可以具有多种关系类型，例如信任，不信任，共同审查和共同评级。）
化学/生物图	原子作为节点，化学键作为边缘。此类图通常用于评估图分类性能
	NCI-1和NCI-9（数据集分别含有4100和4127种化合物，标记它们是否具有阻碍人癌细胞生长的活性。）
	MUTAG（数据集包含188种硝基化合物，标记为是芳香族还是杂芳香族。）
	D＆D（ 数据集包含1178个蛋白质结构，标记它们是酶还是非酶。 ）
	QM9（数据集包含133885个分子，标签是13种化学特性。） Tox21（数据集包含12707种化合物，分为12种毒性。）
	PPI（蛋白质 - 蛋白质相互作用网络，它包含24个生物图，其中节点表示蛋白质，边缘表示蛋白质之间的相互作用。在*PPI**中，图与人体组织关联，节点标签表示生物状态。*）
非结构化图	结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。
	非结构化数据：包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
	MNIST（数据集包含70000张尺寸为28×28的图像，并有十类数字。将MNIST图像转换为图的典型方法是，基于其像素位置构造8-NN图形。）
	Wikipedia（数据集是从维基百科转储的前一百万字节中提取的单词共生网络。单词标签代表词性（POS）标签。 ）
	20-NewsGroup（数据集包含大约20,000个新闻组（NG）文本文档，有20种新闻类型。通过将每个文档表示为节点，并使用节点之间的相似性作为边缘权重来构造20-NewsGroup的图。 ）
其它	METR-LA是从洛杉矶高速公路收集的交通数据集
	MovieLens-1M数据集，包含由6 k 用户提供的100万项目评级。它是推荐系统的基准数据集。
	NELL数据集是从Never-Ending Language Learning项目获得的知识图。它由涉及两个实体及其关系的三元组组成。

2. 开源项目

ChebNet (2016) [12]

GAE (2016) [62]

GAT (2017) [15]

3. 实际应用

一、Computer Vision

1）从场景生成图像

参考论文： Image generation from scene graphs. Justin Johnson, Agrim Gupta, Li Fei-Fei. CVPR 2018. paper

1. 概述:

在场景图生成中，对象之间的语义关系有助于理解视觉场景背后的语义含义。给定一幅图像，场景图生成模型检测和识别对象，并预测对象对之间的语义关系。另一个应用程序通过生成给定场景图的真实图像来反转该过程。自然语言可以被解析为语义图，其中每个词代表一个对象，这是一个有希望的解决方案，以合成给定的文本描述图像。

解释，语义关系是什么？

最为基础的语义关系有两类： （1）上位概念和下位概念之间的关系，下位概念的出现仅仅是为了限定上位概念的外延，例如典型的宾语和动词之间的关系（“吃”和“面条”）； （2）述谓关系，这是最多最基础的关系。一个基本词汇单位对另一个基本词汇单位的陈述，最为典型的就是主谓关系，其次是状语和谓词之间的关系，大部分定语和名词之间的关系。都是述谓关系。

2. 理解

文本描述——场景图——生成图像

基于两个模型

l 图像生成模型

l 一对判别模型Dimg和Dobj

3. 实验达到效果：

可以生成多对象的场景，甚至是同一对象类型生成多种实例。

生成的例子表明该方法生成图像时遵循了对象之间的关系

具有生成复杂图像的能力

4. 对比评估

文本转图，现有的方法主要是结合递归神经网络（RNN）和生成对抗网络（GAN）来实现的，代表性的为ICCV 2016 2017的StackGAN方法，李团队采用GCN，结果比StackGAN要好1倍

2）点云分类和分割

点云是激光雷达扫描记录的一组三维点。此任务的解决方案使激光雷达设备能够看到周围的环境，通常用于无人驾驶车辆。为了识别点云所描绘的物体，将点云转换为k-最近邻图或叠加图，并利用图论进化网络来探索拓扑结构。

3 ）动作识别

识别视频中包含的人类动作有助于从机器方面更好地理解视频内容。一组解决方案 检测视频剪辑中人体关节的位置。由骨架链接的人体关节自然形成图 。给定人类关节位置的时间序列，应用时空神经网络来学习人类行为模式。

4 ） rgb 语义分割

参考论文：3d graph neural networks for rgbd semantic segmentation. Xiaojuan Qi, Renjie Liao, Jiaya Jia†, Sanja Fidler, Raquel Urtasun . CVPR 2017.paper

· 提出一种基于三维点云的三维图神经网络（3DGNN）， 在点云的基础上构造了一个k近邻图。 图中的每个节点都对应了一组点，并与一个隐藏的表示向量ini相关联。该传播模型按一定的时间步长展开，最终的每个节点表示用于预测每个像素的语义类。作者使用了时间反向传播来训练模型，在 NYUD2和 SUN-RGBD 数据集上进行实验验证了该方法的有效性。

· 3DGNN 利用了二维显示信息和三维几何关系，能够捕获图像中的长期依赖关系，是传统方法难以建立模型得到的。

5）其它

人-物交互、小样本图像分类、视觉推理和问答等

二、Recommender Systems

· 推荐系统

· 基于图的推荐系统以项目和用户为节点。通过利用项目与项目、用户与用户、用户与项目之间的关系以及内容信息，基于图的推荐系统能够生成高质量的推荐。推荐系统的关键是评价一个项目对用户的重要性。因此，可以将其转换为一个链路预测问题。目标是预测用户和项目之间丢失的链接。为了解决这个问题，有学者提出了一种基于GCN的图形自动编码器。还有学者结合GCN和RNN，来学习用户对项目评分的隐藏步骤。

三、Traffic

· 交通

· 交通拥堵已成为现代城市的一个热点社会问题。准确预测交通网络中的交通速度、交通量或道路密度，在路线规划和流量控制中至关重要。有学者采用基于图的时空神经网络方法来解决这些问题。他们模型的输入是一个时空图。在这个时空图中，节点由放置在道路上的传感器表示，边由阈值以上成对节点的距离表示，每个节点都包含一个时间序列作为特征。目标是预测一条道路在时间间隔内的平均速度。另一个有趣的应用是出租车需求预测。这有助于智能交通系统有效利用资源，节约能源。 根据历史出租车需求，位置信息，天气数据和事件特征，Yao 等人[141]结合LSTM，CNN和由LINE [142]训练的节点embedding，形成每个位置的联合表示，以预测在一个时间间隔内该位置所需的出租车数量。

四、Chemistry

· 化学

· 在化学中，研究人员应用图神经网络研究分子的图结构。在分子图中，原子为图中的节点，化学键为图中的边。节点分类、图形分类和图形生成是分子图的三个主要任务，它们可以用来学习分子指纹、预测分子性质、推断蛋白质结构、合成化合物。

五、Others

· 初步探索将GNN应用于其他问题，如程序验证，程序推理，社会影响预测，对抗性攻击预防，电子健康记录建模，大脑网络，事件检测和组合优化

4. 未来发展方向

1）Go Deep

在学习图结构数据的时候，更深的网络是否是一个好的策略

2）Receptive Filed

如何选择节点的代表性感受野

3）Scalability

大部分图神经网络并不能很好地扩展到大型图上

4）Dynamics and Heterogeneity

大多数当前的图神经网络都处理静态同质图，应当开发新方法来处理动态和异质图结构