图深度学习——学习笔记（未完成）
摘抄整理自《图深度学习从理论到实践》——ISBN：9787302604884
一、图基础
1. 为什么需要采用图神经网络？——大部分传统上深度学习模型是针对欧式数据设计的，因此无法直接应用到图数据上。可采用图神经网络来挖掘图中所包含的信息。
2. 生活中的图结构有哪些？——人与人之间的社交关系、生态环境中不同物种之间的捕食关系、有机大分子内成键关系、地铁或高铁站点与站点的关系。
3. 如何表示图？——图由所有顶点集合V和所有连接顶点之间的边集合E组成，因此图可以抽象为顶点集合V和编集合E的函数G=(V,E)。
4. 图的性质有哪些？——顶点的度；完全图（有向完全图和无向完全图）：任意两个顶点之间都存在一条边或方向相反的两条边；路径与简单路径：依次有序遍历顶点序列形成的轨迹称为路径，没有重复顶点的路径称为简单路径；环：路径中包含相同的顶点两次或者两次以上；连通图：无向图中每一对不同的顶点之间都存在路径；强连通：有向图中每一对不同的顶点之间都存在路径；弱连通：将有向图的方向忽略后，任意2个顶点之间总存在路径；动态图：节点或者边随时间变化；属性图：节点上存在着属性，用来表示节点的特征；同质图：图中节点和边的类型只有一种；异质图：节点和边的类型超过2种；
5. 图数据的存储方式？——邻接矩阵、邻接表、十字链表、邻接多重表、边集数组等；
6. 图与拉普拉斯矩阵——图傅里叶变化是基于图的拉普拉斯矩阵，对图G=(V,E)，D为图G的度对角矩阵，其拉普拉斯矩阵为L=D-A，A是图G的邻接矩阵。L的性质为：1）对称的半正定方矩阵，至少一个特征值为0，特征值种0出现的次数是图连通区域的个数；2）L的秩为N-K，K为G种连通分支的数量；等...
二、图神经网络
1. 为什么要用图神经网络？
从数据结构上看，图数据每个阶段的邻居个数不固定，而且一类类似像素数据的规范网格，因此不能直接采用图像中的卷积神经网络。传统的序列神经网络模型一般适用于一维线性数据，因此序列模型难以直接在图数据上使用；
从数据样本分布角度来看，当前深度学习算法的核心是假设样本满足独立同分布，但是图数据种每个节点都与周围的其他节点相关，彼此耦合，难以确保数据是独立同分布的。
采用前馈学习方法学习处理图数据时，按照节点的序号输入多层前馈网络，但是这种方法会使得图的结构信息损失。采用卷积神经网络处理图数据时，难以直接采用卷积神经网络中的卷积、池化等概念。
2. 图的任务与应用有哪些？
- 节点分类，i.e.,预测节点的类型；
- 连接预测，i.e.，预测两个节点之间是否存在连边；
- 图上的任务，e.g.,给定两个图，分析二者的相似度，或者预测生物大分子的特性等；
三、图注意力网络
注意力机制的优势：
- 有效地使模型忽略输入数据中的噪声部分，提升信噪比；
- 为输入数据中不同元素分配不同的权重系数，突出与任务最相关的信息元素；
- 为模型结果带来更好的解释性。
1. 图注意力网络Graph Attention Networks, GAT
首次将注意力机制引入图的消息传播步骤中。图中每个顶点的隐藏层状态由自身特征以及其邻域中的邻居特征计算得到，假设目标顶点邻域中的每个顶点对于目标顶点的重要性是有差异的，引入注意力机制后，模型能够捕获邻居顶点对于目标顶点的重要性差异，并将这种差异信息转化为权重参数用于邻居信息聚合，最终的效果为越重要的顶点，其信息在聚合过程中保留越多。
引入图注意力层，为了尽量保留图数据中的结构信息，只在目标顶点i的邻域顶点中计算注意力。图注意力模型与GraphSAGE相同，保留了图的完整局部性，能够进行归纳式学习。
2. 异质图注意力网络Heterogeneous Graph Attention Networks, HAN
顶点级别注意力和语义级别注意力
3. 门控注意力网络Gated Attention Networks, GaAN
门控注意力网络不同于图注意力网络中同等地看待多头注意力的重要性，门控注意力网络使用一个卷积子网络来控制每个注意力头的重要性。门控注意力网络可以通过引入的门来调节参与内容的数量。
4. 层次图注意力网络Hierarchical Graph Attention Networks, HGAT
将图像中的物体的空间相对关系抽象成图结构来处理。在图中引入先验知识和注意力机制，来减轻初始化图时的不准确引入带来不利影响。
四、图序列神经网络
五、图深度学习框架
1. PyG
由德国多特蒙德工业大学开发，基于pytorch的几何深度学习扩展库
2. DGL
由纽约大学和亚马逊公司共同开发，先后继承了pytorch,MXNet,Tensorflow等深度学习框架
3. AliGraph
由阿里巴巴内部开发，面向大规模图神经网络开发和应用而设计的分布式框架