图神经网络综述
目录
- 1.为什么出现图神经网络GNN？
- 2.GNN与图/网络嵌入
- 3.GNN的发展
- 4.图神经网络分类
- 5.图监督学习的统一分析框架：消息传递网络
- 6.图卷积网络（Graph Convolution Networks，GCN）
- 4.1.基于谱（spectral-based）
- 4.1.1.原理：图信号处理
- 4.1.2.对输入信号X的图卷积操作
- 4.1.3.现有模型
- 4.1.4.缺点
- 4.2.基于空间（spatial-based）
- 4.2.1.来源：扩展传统CNN
- 4.2.2.根据卷积层叠的不同方法细分
- 4.3.两种GCN比较
- 5.图注意力网络（Graph Attention Networks）
- 5.1.图注意力网络Graph Attention Network (GAT)
- 5.2.门控注意力网络Gated Attention Network (GAAN)
- 5.3.图形注意力模型Graph Attention Model (GAM)
- 6.图自动编码器Graph Autoencoders
- 6.1.挑战：邻接矩阵A的稀疏性
- 7.图生成网络Graph Generative Networks
- 7.1.基于GCN的图生成网络
- 7.1.1.Molecular Generative Adversarial Networks (MolGAN) 图强化、图对抗
- 7.1.2.Deep Generative Models of Graphs (DGMG)
- 7.2.其它架构的图生成网络
- 7.2.1.GraphRNN（图循环）
- 7.2.2.NetGAN
- 8.图时空网络Graph Spatial-Temporal Networks
- 9.应用
- 9.1.计算机视觉
- 9.1.1.场景图生成
- 9.1.2.点云分类和分割
- 9.1.3.动作识别
- 9.1.4.其他
- 9.2.推荐系统
- 9.3.交通
- 9.3.1.交通拥堵
- 9.3.2.出租车需求预测
- 9.4.化学
- 9.5.其他
- 参考
1.为什么出现图神经网络GNN？
近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构：图神经网络（Graph Neural Networks，GNN）
传统的深度学习方法在提取欧氏空间数据（如Image） 的特征方面取得了巨大的成功，但在处理非欧式空间数据（如Graph） 上的表现却仍难以使人满意。许多实际应用场景中的数据是从非欧式空间生成的，如推荐系统中的图。
图是不规则的，每个图都有一个大小可变的无序节点，图中的每个节点都有不同数量的相邻节点。 因此，一些重要的操作（如卷积），在图像（Image）上很容易计算，但不再适合直接用于图。
图中的样本不是相互独立的，图中的每个数据样本（节点）都会有边与图中其他实数据样本（节点）相关，这些信息可用于捕获实例之间的相互依赖关系。但是，现有深度学习算法的一个核心假设是数据样本之间彼此独立。
2.GNN与图/网络嵌入
交集：Deep learning
图嵌入通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示在低维向量空间中，以便使用简单的机器学习算法进行分类、聚类、推荐等操作。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。
图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。
3.GNN的发展
- Spectral-based graph convolutional networks： 2013年，Bruna等人提出了关于GCN的第一个重要研究，开发了一种基于频谱图理论的图卷积变体。
- Spatial-based graph convolutional networks： 由于频谱方法通常同时处理整个图，并且难以并行或缩放到大型图，因此基于空间的图卷积网络得到了快速发展。其连同采样策略一起，可以在一批节点中而不是整个图形中进行计算，提高了效率。
- 除了图卷积网络，还开发了图注意力网络、图自编码器、图生成网络和图时空网络等。
4.图神经网络分类
- 按照无监督方法和半监督方法分类
- 按图的类型、训练方法或误差传播方法分类
5.图监督学习的统一分析框架：消息传递网络
消息传递网络（message passing neural network，MPNN）可以作为分析图学习的一个统一框架。传播过程可以视作一个消息传递的过程，分为融合与更新两步：
- Aggregator： m v t + 1 = ∑ w ∈ N v M t ( h v t , h w t , e v w ) m_v^{t+1}=\displaystyle\sum_{w\in N_v}M_t(h_v^t,h_w^t,e_{vw}) mvt+1=w∈Nv∑Mt(hvt,hwt,evw)
- Updater： h v t + 1 = U t ( h v t , m v t + 1 ) h_v^{t+1}=U_t(h_v^t,m_v^{t+1}) hvt+1=Ut(hvt,mvt+1)
其中 M t M_t Mt， U t U_t Ut为时变的函数。
最后，读出（readout）过程给出一个输出向量，例如分类问题中的softmax： y ^ = R ( { h v T ∣ v ∈ G } ) \widehat y=R(\{h_v^T|v\in G\}) y =R({hvT∣v∈G})。
GCN：
M v t + 1 = D ~ − 1 2 A ~ D ~ − 1 2 H v t W t M_v^{t+1}=\widetilde D^{-\frac12}\widetilde A\widetilde D^{-\frac12}H_v^tW^t Mvt+1=D −21A D −21HvtWt
H v t + 1 = σ ( M v t + 1 ) H_v^{t+1}=\sigma(M_v^{t+1}) Hvt+1=σ(Mvt+1)
GraphSAGE：
m v t ≡ h N v t = A g g r e g a t e t ( { h u t − 1 , ∀ u ∈ N v } ) m_v^t\equiv h_{N_v}^t=Aggregate_t(\{h_u^{t-1},\forall u\in N_v\}) mvt≡hNvt=Aggregatet({hut−1,∀u∈Nv})
h v t = σ ( W t ⋅ C o n c a t ( h v t − 1 , h N v t ) ) h_v^t=\sigma(W^t\cdot Concat(h_v^{t-1},h_{N_v}^t)) hvt=σ(Wt⋅Concat(hvt−1,hNvt))
y ^ = h v t ∣ ∣ h v t ∣ ∣ \widehat y=\frac {h_v^t}{||h_v^t||} y =∣∣hvt∣∣hvt
6.图卷积网络（Graph Convolution Networks，GCN）
CNN的平移不变性在非欧结构数据上不适用。为了在拓扑图上提取空间特征来进行学习，GCN引入可以优化的卷积参数。
GCN将卷积运算从传统数据推广到图数据。其核心思想是学习一个函数映射 f f f，通过该映射图中的节点 v i v_i vi可以聚合它自己的特征 x i x_i xi 与它邻居的特征 x j , j ∈ N ( v i ) x_j,j\in N(v_i) xj,j∈N(vi)，来生成节点 v i v_i vi的新表示。
GCN是许多复杂图神经网络模型的基础，包括基于自动编码器的模型、生成模型和时空网络等。
传播过程对于图网络的训练是至关重要的，目前主流的方法是将卷积应用到图结构上，也就是图卷积网络（GCN）。
此外，还有将注意力机制（如：graph attention network，GAT）、门机制（如：gated graph neural network，GGNN）和残差机制（如：highway-GCN）引入图网络的方法。
CNN中的卷积：
离散卷积： 共享参数的过滤器
卷积操作： 通过计算中心像素点以及相邻像素点的加权和构成feature map；加权系数=卷积核的权重系数
卷积目的： 空间特征的提取
卷积核的系数： 随机化初值，训练中根据损失函数，通过反向传播+梯度下降进行迭代优化
4.1.基于谱（spectral-based）
从图信号处理的角度引入滤波器来定义图卷积，其中图卷积操作被解释为从图信号中去除噪声。
核心思想：《数字信号处理》中，通过引入傅里叶变换将时域信号转换到频域进行分析，进而完成一些在时域上无法完成的操作。
方法：
- 在频谱域上进行定义图卷积，它基于对图的拉普拉斯矩阵进行特征值分解的操作。
- 对于图而言，与二维矩阵数据不同，其卷积是难以直接进行离散化的定义的，所以要将空间域的卷积运算变换为频谱域的矩阵相乘。
假设： 无向图
定义： 一个图的信号 x ∈ R N x\in R^N x∈RN，是一个由图的各个节点组成的特征向量， x i x_i xi代表第 i i i个节点。
4.1.1.原理：图信号处理
- 正则化图拉普拉斯矩阵L： 无向图的鲁棒数学表示。
L = I − D − 1 2 A D − 1 2 L=I-D^{-\frac12}AD^{-\frac12} L=I−D−21AD−21
其中， A A A为邻接矩阵， D D D为度矩阵（对角矩阵 D i i = ∑ j A i , j D_{ii}=\sum_jA_{i,j} Dii=∑jAi,j） - L矩阵分解： L是实对称半正定的。
L = U Λ U T L=U\Lambda U^T L=UΛUT
其中， U U U是由 L L L的特征向量构成的矩阵， Λ \Lambda Λ是对角矩阵（对角线上的值为 L L L的特征值）。
正则化拉普拉斯矩阵 L L L的特征向量构成了一组正交基。 - 图 x x x的傅里叶（反）变换
傅里叶变换：将输入的图信号投影到正交空间，而这个正交空间的基是由正则化图拉普拉斯矩阵 L L L的特征向量构成。 F ( x ) = U T x \mathscr{F}(x)=U^Tx F(x)=UTx
转换后得到的信号 x ^ \widehat x x 的元素是新空间中图信号的坐标，因此原来的输入信号可以表示为 x = ∑ i x ^ i u i x=\sum_i\widehat x_iu_i x=∑ix iui（傅里叶反变换的结果）。
傅里叶反变换： F − 1 ( x ^ ) = U x ^ , x = ∑ i x ^ i u i \mathscr{F^{-1}}(\widehat x)=U\widehat x,x=\sum_i\widehat x_iu_i F−1(x )=Ux ,x=∑ix iui
4.1.2.对输入信号X的图卷积操作
令 g ∈ R N g\in R^N g∈RN为滤波器，
x G ∗ g = F − 1 ( F ( x ) ⊙ F ( g ) ) = U ( U T x ⊙ U T g ) x_G*g=\mathscr{F^{-1}}(\mathscr{F}(x)\odot \mathscr{F}(g))=U(U^Tx\odot U^Tg) xG∗g=F−1(F(x)⊙F(g))=U(UTx⊙UTg)
简化：令 g θ = d i a g ( U T g ) g_\theta=diag(U^Tg) gθ=diag(UTg)作为滤波器
x G ∗ g θ = U g θ U T x x_G*g_\theta=Ug_\theta U^Tx xG∗gθ=UgθUTx
⊙ \odot ⊙定义
设 A , B ∈ C m × n A,B\in C^{m\times n} A,B∈Cm×n且 A = [ a i j ] ， B = [ b i j ] A=[a_{ij}]，B=[b_{ij}] A=[aij]，B=[bij]
矩阵 A A A与 B B B的Hadamard积：
4.1.3.现有模型
基于谱的图卷积网络都遵循上述模式，关键的不同点在于选择的滤波器不同。
现有的基于谱的图卷积网络模型有：
- Spectral CNN
- Chebyshev Spectral CNN (ChebNet)
- Adaptive Graph Convolution Network (AGCN)
4.1.4.缺点
- 需要将整个图加载到内存中以执行图卷积，这在处理大型图时是不高效的。
- 依赖于对拉普拉斯矩阵进行特征值分析，这就削弱了泛化能力。
4.2.基于空间（spatial-based）
直接在图上定义卷积，从邻域聚合特征信息，当图卷积网络的算法在节点层次运行时，图池化模块可以与图卷积层交错，将图粗化为高级子结构。如下图所示，这种架构设计可用于提取图的各级表示和执行图分类任务。
主要挑战： 既要对不同大小的邻域定义卷积，又要保证CNN的局部不变性。
常用方法： GraphSAGE(graph sampling and aggregating)，对顶点的局部邻域进行采样和聚合来生成embedding。
4.2.1.来源：扩展传统CNN
为了将图像与图关联起来，可以将图像视为图的特殊形式。
- 图像（图a）：每个像素代表一个节点，每个像素直接连接到其附近的像素。通过一个3×3的窗口，每个节点的邻域是其周围的8个像素。这8个像素的位置表示一个节点的邻居的顺序。然后，通过对每个通道上的中心节点及其相邻节点的像素值进行加权平均，对该3×3窗口应用一个滤波器。由于相邻节点的特定顺序，可以在不同的位置共享可训练权重。
- 一般的图（图b）：基于空间的图卷积将中心节点表示和相邻节点表示进行聚合，以获得该节点的新表示。
4.2.2.根据卷积层叠的不同方法细分
- recurrent-based：使用相同的图卷积层来更新隐藏表示
- composition-based：使用不同的图卷积层来更新隐藏表示
4.3.两种GCN比较
Spectral-based： 最早的GCN；在图信号处理方面有一定的理论基础；通过设计新的图信号滤波器，可以从理论上设计新的图卷积网络。
Spatial-based： 近年来空间模型越来越受到关注。
效率：
- Spectral-based：计算成本随着图的大小而急剧增加，因为它们要么需要执行特征向量计算，要么同时处理整个图，这使得它们很难适用于大型图。
- Spatial-based：有潜力处理大型图，因为它们通过聚集相邻节点直接在图域中执行卷积。计算可以在一批节点中执行，而不是在整个图中执行。当相邻节点数量增加时，可以引入采样技术来提高效率。
通用性：
- Spectral-based：假定是一个固定的图，使得它们很难在图中添加新的节点。
- Spatial-based：在每个节点本地执行图卷积，可以轻松地在不同的位置和结构之间共享权重。
灵活性：
- Spectral-based：仅限于在无向图上工作，有向图上的拉普拉斯矩阵没有明确的定义，因此将基于谱的模型应用于有向图的唯一方法是将有向图转换为无向图。
- Spatial-based：更灵活地处理多源输入，这些输入可以合并到聚合函数中。
5.图注意力网络（Graph Attention Networks）
在GNN的聚合过程中使用注意力，整合多个模型的输出，并生成面向重要目标的随机游走。
可用方式：
- 在聚集特征信息时，将注意力权重分配给不同的邻居节点
- 根据注意力权重，将多个模型集合起来
- 使用注意力权重，引导随机游走
5.1.图注意力网络Graph Attention Network (GAT)
GAT是一种基于空间的图卷积网络。
它的注意力机制是在聚合特征信息时，将注意机制用于确定节点邻域的权重。
GAT的图卷积运算定义为：
h i t = σ ( ∑ j ∈ N i α ( h i t − 1 , h j t − 1 ) W t − 1 h j t − 1 ) h_i^t=\sigma(\displaystyle\sum_{j\in N_i}\alpha(h_i^{t-1},h_j^{t-1})W^{t-1}h_j^{t-1}) hit=σ(j∈Ni∑α(hit−1,hjt−1)Wt−1hjt−1)
其中， α ( ⋅ ) α(·) α(⋅)是注意力函数，它自适应地控制相邻节点 j j j对节点 i i i的贡献。
为了学习不同子空间中的注意力权重，GAT还可以使用多注意力：
h i t = ∣ ∣ k = 1 K σ ( ∑ j ∈ N i α k ( h i t − 1 , h j t − 1 ) W k t − 1 h j t − 1 ) h_i^t=||_{k=1}^K\sigma(\displaystyle\sum_{j\in N_i}\alpha_k(h_i^{t-1},h_j^{t-1})W_k^{t-1}h_j^{t-1}) hit=∣∣k=1Kσ(j∈Ni∑αk(hit−1,hjt−1)Wkt−1hjt−1)
5.2.门控注意力网络Gated Attention Network (GAAN)
GAAN采用了多头注意力机制来更新节点的隐藏状态。
注意：GAAN并没有给每个head部分配相等的权重，而是引入了一种自注意机制，该机制为每个head计算不同的权重。
更新规则：
h i t = ϕ 0 ( x i ⨁ ∣ ∣ k = 1 K g i k ∑ j ∈ N i α k ( h i t − 1 , h j t − 1 ) ϕ v ( h j t − 1 ) ) h_i^t=\phi_0(x_i\bigoplus||_{k=1}^Kg_i^k\displaystyle\sum_{j\in N_i}\alpha_k(h_i^{t-1},h_j^{t-1})\phi_v(h_j^{t-1})) hit=ϕ0(xi⨁∣∣k=1Kgikj∈Ni∑αk(hit−1,hjt−1)ϕv(hjt−1))
其中 ϕ o , ϕ v \phi_o,\phi_v ϕo,ϕv是反馈神经网络，而 g i k g_i^k gik是第 k k k个注意力head的注意力权重。
尽管GAT和GAAN在图注意网络的框架下进行了分类，但它们也可以被视为基于空间的图形卷积网络。
GAT和GAAN的优势在于，它们能够自适应地学习邻居的重要性权重。然而，计算成本和内存消耗随着每对邻居之间的注意力权重的计算而迅速增加。
5.3.图形注意力模型Graph Attention Model (GAM)
GAM提供了一个循环神经网络模型，以解决图形分类问题，通过自适应地访问一个重要节点的序列来处理图的信息。
GAM模型定义：
h t = f h ( f s ( r t − 1 , v t − 1 , g ; θ s ) , h t − 1 ; θ h ) h_t=f_h(f_s(r_{t-1},v_{t-1},g;\theta_s),h_{t-1};\theta_h) ht=fh(fs(rt−1,vt−1,g;θs),ht−1;θh)
其中， f h ( ⋅ ) f_h(·) fh(⋅)是LSTM网络， f s f_s fs是step network，它会优先访问当前节点 v t − 1 v_{t-1} vt−1优先级高的邻居，并将它们的信息进行聚合。
6.图自动编码器Graph Autoencoders
图自动编码器是一类图嵌入方法，是将稀疏自编码器应用于图网络中的方法，是利用图进行无监督学习的典型方法。
目的： 利用神经网络结构，将图的顶点表示为低维向量。
典型的解决方案：
- 利用多层感知机/GCN作为编码器，对图节点进行编码，获取节点嵌入。
- 解码器（非线性环节）重建节点的邻域统计信息，如positive pointwise mutual information（PPMI）或一阶和二阶近似值。
探索：设计图自动编码器
- 将GCN作为编码器
- 将GCN与GAN结合起来
- 将LSTM与GAN结合起来。
基于GCN的自编码器：
- Graph Autoencoder (GAE)
- Adversarially Regularized Graph Autoencoder (ARGA)
图自编码器的其它变体：
- Network Representations with Adversarially Regularized Autoencoders (NetRA)
- Deep Neural Networks for Graph Representations (DNGR)
- Structural Deep Network Embedding (SDNE)
- Deep Recursive Network Embedding (DRNE)
DNGR和SDNE学习仅给出拓扑结构的节点嵌入。
GAE、ARGA、NetRA、DRNE用于学习当拓扑信息和节点内容特征都存在时的节点嵌入。
6.1.挑战：邻接矩阵A的稀疏性
挑战： 解码器的正条目数远远小于负条目数（正负样本不平衡）。
解决方法：
- DNGR重构了一个更密集的矩阵，即PPMI矩阵
- SDNE对邻接矩阵的零项进行惩罚
- GAE对邻接矩阵中的项进行重加权
- NetRA将图线性化为序列
7.图生成网络Graph Generative Networks
目标： 给定一组观察到的图，生成新的图。
应用： 图生成网络的许多方法都是特定于领域的
- 分子图生成：一些工作模拟了称为SMILES的分子图的字符串表示
- 自然语言处理：生成语义图或知识图通常以给定的句子为条件。
通用方法：
- 将生成过程作为节点和边的交替形成因素
- 生成对抗训练
7.1.基于GCN的图生成网络
7.1.1.Molecular Generative Adversarial Networks (MolGAN) 图强化、图对抗
GAN：生成对抗网络。由一个生成器和一个判别器组成，它们相互竞争以提高生成器的真实性。
将relational GCN、改进的GAN和强化学习目标集成在一起，以生成具有所需属性的图。在MolGAN中，生成器试图提出一个伪图及其特征矩阵，而鉴别器的目标是区分伪样本和经验数据。此外，还引入了一个与鉴别器并行的奖励网络，以鼓励生成的图根据外部评价器具有某些属性。
7.1.2.Deep Generative Models of Graphs (DGMG)
利用基于空间的图卷积网络来获得现有图的隐藏表示。生成节点和边的决策过程是以整个图的表示为基础的。
DGMG递归地在一个图中产生一个节点，直到达到某个停止条件。在添加新节点后的每一步，DGMG都会反复决定是否向添加的节点添加边，直到决策的判定结果变为假。如果决策为真，则评估将新添加节点连接到所有现有节点的概率分布，并从概率分布中抽取一个节点。将新节点及其边添加到现有图形后，DGMG将更新图的表示。
7.2.其它架构的图生成网络
7.2.1.GraphRNN（图循环）
两个层次的循环神经网络的深度图生成模型。
图层次 RNN每次向节点序列添加一个新节点。
边层次 RNN生成一个二进制序列，指示新添加的节点与序列中以前生成的节点之间的连接。
GraphRNN采用了广度优先搜索（BFS） 策略，使得一个图线性化为一系列节点来训练图层次的RNN。
GraphRNN假定序列服从多元伯努利分布或条件伯努利分布，用于建立训练边层次的RNN的二元序列模型。
7.2.2.NetGAN
Netgan将LSTM与Wasserstein-GAN结合在一起，使用基于随机游走的方法生成图形。
- GAN框架由生成器和判别器组成。生成器尽最大努力在LSTM网络中生成合理的随机游走序列，而判别器则试图区分伪造的随机行走序列和真实的随机行走序列。
- 训练完成后，对一组随机游走中节点的共现矩阵进行正则化，我们可以得到一个新的图。
8.图时空网络Graph Spatial-Temporal Networks
图时空网络同时捕捉时空图的时空相关性。
时空图具有全局图结构，每个节点的输入随时间变化。
例如，在交通网络中，每个传感器作为一个节点连续记录某条道路的交通速度，其中交通网络的边由传感器对之间的距离决定。
目标：
- 预测未来的节点值或标签
- 预测时空图标签。
主要模型：
- Diffusion Convolutional Recurrent Neural Network (DCRNN)
- CNN-GCN
- Spatial Temporal GCN (ST-GCN)
- Structural-RNN
最近的研究仅仅探讨了GCNs的使用，GCNs与RNN或CNN的结合，以及根据图结构定制的循环体系结构。
9.应用
9.1.计算机视觉
9.1.1.场景图生成
对象之间的语义关系有助于理解视觉场景背后的语义含义。
给定一幅图像，场景图生成模型检测和识别对象，并预测对象对之间的语义关系。另一个应用程序通过生成给定场景图的真实图像来反转该过程。自然语言可以被解析为语义图，其中每个词代表一个对象，这是一个有希望的解决方案，以合成给定的文本描述图像。
9.1.2.点云分类和分割
点云是激光雷达扫描记录的一组三维点。
此任务的解决方案使激光雷达设备能够看到周围的环境，这通常有利于无人驾驶车辆。为了识别点云所描绘的物体，将点云转换为k-最近邻图或叠加图，并利用图论进化网络来探索拓扑结构。
9.1.3.动作识别
识别视频中包含的人类动作，有助于从机器方面更好地理解视频内容。
检测视频剪辑中人体关节的位置： 由骨骼连接的人体关节自然形成图表。给定人类关节位置的时间序列，应用时空神经网络来学习人类行为模式。
9.1.4.其他
- 人-物交互
- 少镜头图像分类
- 语义分割
- 视觉推理和问答
9.2.推荐系统
以项目和用户为节点。
通过利用项目与项目、用户与用户、用户与项目之间的关系以及内容信息，基于图的推荐系统能够生成高质量的推荐。
如：评价一个项目对用户的重要性（链路预测问题）。为了解决这个问题，有学者提出了一种基于GCN的图形自动编码器。还有学者结合GCN和RNN，来学习用户对项目评分的隐藏步骤。
9.3.交通
9.3.1.交通拥堵
交通拥堵已成为现代城市的一个热点社会问题。准确预测交通网络中的交通速度、交通量或道路密度，在路线规划和流量控制中至关重要。
采用基于图的时空神经网络方法：
- 模型的输入是一个时空图。在这个时空图中，节点由放置在道路上的传感器表示，边由阈值以上成对节点的距离表示，每个节点都包含一个时间序列作为特征。
- 目标是预测一条道路在时间间隔内的平均速度。
9.3.2.出租车需求预测
有助于智能交通系统有效利用资源，节约能源。
9.4.化学
在分子图中，原子为图中的节点，化学键为图中的边。
主要任务：
- 节点分类
- 图形分类
- 图形生成
应用：
- 学习分子指纹
- 预测分子性质
- 推断蛋白质结构
- 合成化合物
9.5.其他
- 程序验证
- 程序推理
- 社会影响预测
- 对抗性攻击预防
- 电子健康记录建模
- 脑网络
- 事件检测
- 组合优化
参考
http://jacobkong.github.io/blog/4197138744/
https://zhuanlan.zhihu.com/p/75307407
https://zhuanlan.zhihu.com/p/70028587