【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型

HCGN:面向集体分类的异构图卷积网络深度学习模型

摘要

        集合分类是研究网络数据的一项重要技术,旨在利用一组具有复杂依赖关系的互联实体的标签自相关性。随着各种异构信息网络的出现,集合分类目前正面临着来自异构信息网络的严峻挑战,如复杂的关系层次、潜在的不相容语义和节点上下文关系语义。为了应对这些挑战,本文提出了一种新的基于异构图卷积网络的深度学习模型,称之为HGCN,用于对HINs中的实体进行集体分类。我们的工作包括三个主要贡献:i)HGCN不仅通过多层异构卷积从关系复杂的HINs中学习潜在的关系,而且用适当学习的边缘级滤波器参数捕获关系之间的语义不相容性;ii)为了保持不同类型节点的细粒度关系语义,我们提出了一种异构图卷积来直接处理原始的HINs,而不需要预先将网络从异构转换为同构;iii)我们使用四个真实数据集进行了广泛的实验来验证我们提出的人类基因组学,多方面的结果表明,与最先进的基线方法相比,我们提出的人类基因组学可以显著提高集体分类的性能。

1引言  

        集体分类[9,25]旨在对网络数据中相互连接的实体进行集体分类,在各种深入分析任务[3,23,31]中起着重要作用,如电影网络中的流派识别、社交圈学习和软件延迟预测等。同时,在过去的十年中,异构信息网络因其能够表达丰富而复杂的语义而受到越来越多的关注,从中可以推断出潜在的关系以提高集体分类的性能。然而,由于HINs的异构性,集合分类面临着一些严峻的挑战,如复杂的关系层次、潜在的不兼容语义和节点上下文关系语义。因此,集体分类仍然是目前医疗信息系统中一个具有挑战性的课题。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第1张图片

图1:为了提高集体分类的性能,需要正确地提取HINs中的潜在关系。在图的左侧,实线表示DBLP网络中的真实链接,虚线表示现实世界中存在但只能从浅层关系中推断出来的潜在关系。      

        以前,大多数研究者关注传统的关系模型[16,17,20,21],其中关系特征在很大程度上依赖于专家的设计经验主义。因此,引入噪声/部分关系特征是不可避免的,此外,这些关系通常太浅而不能学习复杂/深层关系特征。然而,许多现实世界的应用程序涉及实体之间的复杂依赖关系,例如书目网络中的同事关系,等等。以图1中的书目网络为例。假设作者A是作者B和作者C的共同作者,如果只考虑共同作者关系,那么作者B和作者C在度量空间上应该接近作者A。但如果考虑作者A和作者C之间的潜在关系,如同事关系(即两个作者共享相似的合著者),作者A和作者C应该更接近,并被赋予相同的标签。因此,一个有效的关系数据模型应该能够捕获不同实体之间的依赖关系,以便进行集体分类。

        考虑到浅层相关性,许多与图形卷积相关的工作[4,12,30]最近被提出用于深度学习应用。本质上,它们扩展了深度神经网络,以处理任意图形结构的数据,并为实体提供自动端到端的特征学习。不幸的是,缺点在于这些工作只处理同构网络,并学习简单的关系特征。它们还没有被扩展到在HINs中提取深层关系特征的应用中。为了解决上述缺点,一些学者提出了深度关系特征学习方案[23,32,33]来执行HINs中的集体分类。然而,这些工作在通过一组元路径[28]构建的多个同构网络的顶部学到了深层关系特征,这通常需要用户指定元路径或利用监督来做出元路径选择。然而,以这种方式指定或选择的一组元路径通常只反映HIN的某些方面。因此,它们并不总是能够全面地转录HINs中实体之间丰富而复杂的相关性。此外,这些工作仅通过考虑两个末端节点来丢弃元路径上的所有中间节点,这使得许多细粒度信息(例如,不同类型节点的细粒度语义)丢失,导致过度平滑的关系特征和不可区分的聚类。此外,尽管HIN嵌入方法[5,6,8,26]的结果可以用于用监督分类器对实体进行分类,但是由于现实世界HIN的稀疏性和噪声性,它们可以为来自不同类别的顶点生成相似的表示。

        基于上述有问题的问题,我们进一步明确了中国在集体分类方面面临的两个严峻挑战:

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第2张图片

  • 潜在关系之间的不相容性。如图2所示,一个HIN通常涉及一个多关系层次结构,其中复杂的关系,像同事关系,可以通过使用低层关系的自底向上的学习来推断。换句话说,随着HINs复杂性的增加,潜在关系的数量和深度通常会在很大程度上增加。然而,由于这些关系之间潜在的不兼容语义,并不是所有的关系都有利于集体分类。例如,共同作者关系可以提供更细粒度的信息,而共同参与者关系可能会引入很多噪声。这实际上并不奇怪,因为会议通常包含交叉研究领域,这表明与会者可能有一些不同的标签;相比之下,一篇论文的合著者更有可能关注同一研究主题。关系之间的这种不相容性会降低集体分类的性能。因此,如何正确地建模HINs中复杂的层次关系之间的不相容性是集体分类的一个挑战。
  • 节点上下文关系语义。由于异构性,一个HIN经常携带非常丰富和复杂的关系语义,例如来自会议中更细粒度的专业领域的集体分类中共同参与者关系的不同效果。换句话说,与跨研究会议相比,参加高度专业会议的作者可能更有可能拥有相同的标签,即会议(节点)具有不同的学术背景。因此,如何有效地保存这样的节点上下文关系语义是集体分类的另一个挑战。

        为了应对上述挑战,本文提出了一种新的基于异构图卷积网络的深度学习模型,该模型利用边缘和节点层次的细粒度信息来执行集体分类任务。表1比较了我们的HGCN和其他传统方法之间的差异。考虑到异构图的异构性,我们设计了一种以整体异构图为输入的异构图初始,它不仅在节点层平衡了具有不同复杂度的关系特征,而且在边缘层评估了不同边缘类型的重要性。通过叠加图的概念,HGCN可以进一步学习层次关系。在我们的工作中,有以下三个主要的贡献:

  • 我们提出研究基于深层潜在关系的HINs集合分类问题,它为解决HINs的异构性提供了一个合适的解决方案,并保留了HINs中丰富的关系语义。
  • 我们提出了一个基于异构图卷积网络的深度学习模型来推断原始HINs上的细粒度关系特征,它不仅正确地模拟了潜在关系之间的不兼容性,而且有效地保留了节点上下文关系语义。
  • 我们使用四个真实数据集进行了广泛的实验,以评估我们提议的人类基因组学的性能。实验结果表明,在集体分类任务上,我们的混合遗传神经网络明显优于现有的基线方法。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第3张图片

2准备工作

        在详细介绍我们的人类基因组网络之前,我们首先简要介绍异构信息网络和集合分类的定义。

定义1。异构信息网络:异构信息网络[28]是一种特殊的信息网络,它可以表示为有向图G = (V,E)。v是节点的集合,包括t类对象V1= {v11,...,v1n1},...,Vt= {vt1,...,vt nt}。E ⊆ V × V表示v中每两个相连节点之间的链路集,它涉及多种类型的链路。

        如图1所示,异构信息网络包括三种类型的节点,即作者、会议和论文,以及两种类型的链接(即authoredBy和publishedIn)。

        HINs中的集体分类。假设目标类型节点V1= {v11,...,v1n1}需要分类。然后,我们采用X1= {x11,...,x1n1}和Y1= {Y11,...,Y1n1}分别表示V1中所有节点的特征集和标签集,标签变量Y1i∈ C = {c1,c2,...,cnc}。V1的节点被分为训练集L1和测试集U1。我们使用YL1= {Y1i|v1i∈ L1}来表示训练集中节点的标签集,同样,我们使用YU1= {Y1i|v1i∈ U1}作为测试集。

        由于HINs的异构性,目标类型的节点可能彼此不直接相关,如图1中的节点。设Si= {si 1,...,simi} (1 ≤ mi= |Si| ≤ t)代表与Vi相关联的节点类型集。让j⊆注意通过“I→s→I”关系与vi jvia相关联的节点。那么HINs中集合分类的任务就是通过潜在关系计算一个节点的不同标签引用其内容特征的概率以及与之关联的其他节点的标签:

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第4张图片

其中S1(v1i)表示通过节点类型s∈S1与V1中的v1i相关联的节点集。

3对潜在关系的影响调查

       在本节中,我们以真实世界的数据为例,根据不同节点造成的不兼容性和差异影响来研究潜在关系。CORA是一个引用网络[19],其中论文相互引用,并进一步与其他属性类型的节点相关联。具体来说,我们把论文作为目标类型节点,把论文的类别作为标签。

        首先,我们评估潜在关系之间的不兼容性。由于HIN中可测量的不兼容性是由多种关系的共存引起的,我们深入到涉及两种不同关系r1和r2的最小情况。为了量化这种最小情况下的不兼容性,我们使用广泛使用的广义Jaccard系数来测量通过两种关系从具有标签c的给定节点可到达的相同标签节点组之间的相似性。具体来说,给定标签为c的节点v 1,关系r1和 r2的Jaccard系数由J(u_{1i}|r_{1},r_{2}):=\frac{\sum_{Y_{1j}=c}min\left \{ l(v_{1i},v_{1j}|r_{1}),l(v_{1i},v_{1j}|r_{2}) \right \}}{\sum_{Y_{1j}=c}max\left \{ l(v_{1i},v_{1j}|r_{1}),l(v_{1i},v_{1j}|r_{2}) \right \}},其中l(v_{1i},v_{1j}|r)是通过关系r在v_{1}v_{1j}之间的可达性。作为例子,我们考虑三种潜在关系,即引用关系(论文-论文)、作者身份(论文-作者-论文)和术语用法(论文-术语-论文),以及两对关系,即引用关系与作者身份、引用关系与术语用法。因此,可达性l(v_{1i},v_{1j}|r)A_{1*}^{i,:}(A_{1*}^{j,:})^{T}可以定义为A_{1*}^{i,:}(A_{1*}^{j,:})^{T},其中A_{1*}V_{1}V_{*}之间的邻接矩阵。对于图3(a)中的两对关系中的每一对,我们使用累积分布函数(CDF)来说明Jaccard系数上的分布。可以看出,在引用关系和术语使用之间,超过80%的节点具有小于5e^{-4}的广义Jaccard系数,而在引用关系和作者身份之间,不到40%的节点属于同一类别。换句话说,我们观察到引用关系和术语用法之间的不相容性比引用关系和作者身份之间的不相容性更大,这表明如果我们考虑给定节点的两个不相容的潜在关系,它们将引入许多具有不同标签的噪声邻居,并混淆分类器;相反,如果我们有两个相似的潜在关系,它们可能会相互补充,提高分类性能。由于潜在关系之间存在这种不兼容性,我们希望为HINs中的集体分类定制的深度关系学习算法能够捕捉潜在关系之间的这种语义微妙性。事实上,通过独立地使用每种类型的边来推断潜在的关系,然后通过连接不同类型的边的公共节点来集成这些关系特征,该模型可以以监督的方式为不同类型的边分配合适的权重,并且使得相同标签的节点之间的嵌入变得更加相似。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第5张图片

图3:潜在关系的影响调查。左侧(a)解释了潜在关系之间的不相容性;右侧(b)说明了特定非目标类型节点对潜在关系的不同程度的影响。

       其次,我们进一步考察了不同非目标类型节点对潜在关系的不同影响。我们选择术语使用关系作为例子,然后计算通过给定节点v_{1i}的特定术语u_{i}连接的所有直接邻居N_{v_{1i}}^{u_{i}}中相同标签邻居的百分比。同标签邻居的百分比表示为P(v_{1i}|u_{i}) := \frac{1}{|N_{v_{1i}}^{u_{1}}|} \sum_{v_{1j} \in N_{v_{1i}}^{u_{i}}} ||\left \{ Y_{1i}=Y_{1j} \right \}。同标签邻居的百分比范围为[0,1],较大的值意味着潜在关系与一个特定项的更好效果,以反映同标签节点的分布。如图3(b)所示,我们随机抽样两个特定项,即高度项uh和低度项,以使用CDF显示它们在不同百分比的相同标签邻居上的分布。作为比较,我们对所有术语计算相同的度量,以突出u_{h}u_{l}的影响。可以看出,100%的节点具有小于10%的带有u_{h}的同标签邻居的百分比,当涉及到所有相关术语和u_{l}的情况时,82%和28%的节点属于同一类别。换句话说,一个精心选择的术语可以帮助根据相关节点的标签对目标节点进行分类;否则,会由于引入噪声邻居而混淆分类器。由于异构性,HINs中存在这样的节点级关系语义,我们期望深度关系学习算法能够从不同类型的节点中捕捉到这种语义的微妙性。因此,通过设计一个异构的图卷积网络,并直接处理原始的HIN,我们的模型的滤波器参数可以用来区分不同的邻居。

4提议的方法:HGCN

4.1总体框架

       图4展示了HINs中集体分类执行的体系结构。对于一个目标类型的节点,该模型分三步工作:I)使用一个异构图卷积来聚合其K阶邻居在每个邻接矩阵中的特征,该邻接矩阵由一个类型的边构成;ii)在每个图开始层中,从不同的邻接矩阵中收集给定节点的所有特征,随后将这些特征集成为下一层的输入;iii)通过最小化预测标签和实际标签之间的交叉熵,从不同顺序和不同类型的邻居中为给定节点选择适当的特征。

4.2异构图卷积

        在本小节中,我们将传统的图卷积模型[12]从同构网络扩展到异构网络,这样,该模型可以基于非目标类型的节点来细化关系特征。齐次网络G_{homo}上的卷积可定义为特征向量X\in \mathbb{R}^{n \times d_{v}}与对称归一化邻接矩阵P=D^{-\frac{1}{2}}AD^{-\frac{1}{2}}上的滤波器g_{\theta }的乘积,其中D是傅立叶域中A度的对角矩阵:

其中U是P的特征向量矩阵,λ是P的特征值的矩阵,⊗表示卷积运算。

        现在,我们把公式(2)推广到HINs。考虑到不同类型节点之间的多样性,我们首先将一个HIN G转换为多个子网络,每个子网络分别为G'=\left\{ G_{i,j} | i,j \in \left\{ 1,...,t \right\}\right\},.其中每个子网络G_{i,j}代表一个邻接矩阵A_{i,j},用于具有两种类型的节点V_{i}V_{j}的一种特定类型的边。给定邻接矩阵的对称性,我们将每个邻接矩阵分成两个有向邻接矩阵,并分别对它们进行卷积运算。具体来说,我们定义了邻接矩阵A_{i,j} \in \mathbb{R}^{(n_{i}+n_{j}) \times (n_{i}+n_{j})}和归一化邻接矩阵P_{i,j}:

其中A_{i,j} \in \mathbb{R}^{n_{i} \times n_{j}}表示从V_{j}到 V_{i} 和P_{i,j}=D_{i}^{-\frac{1}{2}}A_{ij}D_{j}^{-\frac{1}{2}}的有向链路.注意由于A_{ij} = A_{ji}^{T}P_{ij} = P_{ji}^{T}。此外,如果有一种类型的边连接两个相同类型的节点,我们认为这两个节点是不同的类型。也就是说,当i = j时,我们构造了一个非对称矩阵(即A_{ij} = A_{ji}^{T}A_{ij}\neq A_{ji})。然后,给定具有两种类型节点V_{i}V_{j}的子网G_{i,j},我们可以改变公式(2)为

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第6张图片

其中是滤波器参数矩阵,且⊙表示哈达玛乘积。代表V_{j}到 V_{i} 的特征集合过程。具体来说,聚集来自节点的特征,这些特征与目标节点相距最大k + 1步。同样,集合了节点中距离目标节点最大k步的特征。在公式(4)中,,这表明我们对每个子网络上的不同聚集过程使用不同的卷积滤波器。这是因为不同的节点类型包含不同的语义,对所有节点类型使用一个滤波器自然是不够的,使用不同的卷积滤波器有利于保留属于不同类型的节点的语义。

       给定,与相关联的节点类型的集合,我们可以从HIN推断关系特征为:

其中r(x) = (r(x1),...,r(xn))是激活函数。此外,为了学习非目标类型节点之间的差异幅度,我们除了非目标类型节点的特征之外,还可以捕捉目标类型节点的标签的局部分布。因此,我们使用不同的激活函数来不同地学习聚集的特征。根据经验,我们对使用Relu函数,对(i≠1)使用Sigmoid函数

4.3关系特征的深度学习

               一个HIN通常涉及一个多关系层次结构,然而,公式(5)仅单独捕获每个子网中的潜在关系。换句话说,它既不处理不同类型节点之间的复杂交互,也不捕捉不同子网中潜在关系之间的不兼容性。在图4中,受工作[29,32]的启发,我们设计了一种基于初始模块的关系特征学习方法,以通过多层卷积从现有的多关系层次生成深层关系特征。例如,给定一种类型的节点,以及与相关联的类型节点,我们为每一层上的每个子网取两个卷积核,并将核大小分别设置为1和2。那么第1层中的基本模块可以定义为:

其中lk表示第1层的k阶核,表示不同子网之间的特征聚合过程。具体来说,为了整合来自不同类型边缘的特征并捕捉这些特征中的不兼容性,我们将第l层子网络中的k阶特征聚合过程表示为候选特征的加权和,该加权和是通过级联特征与可训练权重矩阵的线性投影获得的。通过这种方式,模型可以在基本事实的监督下学习权衡来自不同类型边缘的特征。也就是说,

其中和σ(·)是1 × 1卷积,通过计算候选关系特征与可训练权重矩阵的加权和,为前一层的输出实现软关系特征选择。请注意,当mi= |Si| = 1时,我们有。为了减少参数的数量,我们替换。然后对于单一类型的节点,我们在第l层有关系特征:

4.4 HINs中的集体分类

        在对V1所有节点进行深度关系特征学习的基础上,我们通过一个具有关系特征和内容特征的软最大层推断节点的标签:

其中是权重矩阵是偏差,[∗||∗]表示连接操作,c∈C表示目标类型节点的标签,T表示模型的顶层。

        在HINs中,各个节点的属性可能有不同的维度和语义。此外,现有的集体分类方法[32]已经证实,目标类型节点的标签和邻居的内容特征之间只有很少的关联。因此,我们使用目标类型节点标签的独热码作为特征Z,其中,来代替X和0来初始化非目标类型节点和测试节点的特征。这样,我们的模型可以捕获与特定标签更相关的关系特征。另一方面,使用标签作为特征将有利于非目标类型的节点学习的局部分布。然而,这意味着我们需要堆叠更多的层来产生更平滑的特征,这是由于Z的稀疏性,这将引入更多的参数,并导致在标签率小时严重的过拟合。因此,我们用标签传播层来扩展模型,以初始化节点的特征。通常,给定一类节点Vi,标签传播操作被定义为其K阶邻居的标签向量之和:

其中并且。注意,为了保证中的节点有正确的标签,我们保持的标签不变。

        综上所述,与其他著作[23,32]相比,我们的HGCN有三个方面的优势:I)它可以直接处理原始HINs,而无需提前进行任何额外的从异构到同构的转换,这更好地保留和利用了HINs丰富而细粒度的关系语义;2)可以增强模型提取和平衡关系特征的能力;iii)使用标签传播层可以显著减少所需的参数

4.5计算复杂度

        在我们的HGCN中,计算复杂度主要取决于两部分:卷积运算和聚合运算。前者的计算开销为,其中表示公式(4)在每一层的时间开销,C表示输入特征的维数,而F表示卷积滤波器的隐藏维数。后者的计算开销为,其中表示公式(7)在每一层的时间开销,|G′|表示子网数量。因此,总时间复杂度为。由于可以有效地实现为稀疏矩阵与稠密矩阵的乘积,以及以及,因此我们的HGCN的复杂度与图的节点数和边数成线性关系。

5实验电动汽车评估

5.1实验设计

5.1.1数据描述。

        为了验证我们提出的混合遗传神经网络的效率,我们使用四个真实数据集,即DBLP、IMDB、CORA和SLAP,将混合遗传神经网络与其他基线方法进行了比较。对于DBLP [11],一个具有三种类型节点(即作者、论文和会议)和两种类型链接的书目信息网络,我们将作者视为目标类型节点,将作者的研究领域视为标签。对于IMDB [23],一个具有四种类型节点(即电影、导演、演员和女演员)和两种类型链接的电影数据集,我们将其视为一个多标签数据集,因为一部电影可能有一组流派。对于CORA [19],一个典型的具有两种类型节点(即论文和作者)和两种类型链接的论文引用网络,我们把论文看作目标类型节点,论文的类别作为标签。对于生物信息学数据集SLAP [2],我们提取五种类型的节点(即基因、化合物、途径、组织和疾病)来构建网络模式,并以基因所属的基因家族为标记,将基因视为目标类型节点。四个数据集的主要统计数据如表2所示(有关这些数据集的详细信息,请参见附录中的A.1节)。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第7张图片

5.1.2基线方法。

        我们使用了11个基线,包括常规学习模型逻辑回归(简称LR)、深度学习模型高速网络[27]、异构图嵌入方法Metapath2vec[5]和HEER[26]、图神经网络模型GCN [12]和GAT[30]、常规集合分类模型ICA[25]以及异构图集合分类模型HCC[14]、堆栈学习[3]、CLN[23]和图形选项[32]。在这里,我们用标记传播层来表示我们的HGCN,称为HGCNlp(关于这些基线方法的详细描述,请参见附录中的第A.2节)。

实施。工作细节,包括超参数设置,将在附录的A.4节中讨论。

5.2多类分类

        如表3所示,我们首先通过与三个多类分类任务的基线进行比较来评估人类基因组学的有效性,即预测DBLP作者的研究领域、SLAP中基因的基因家族和CORA中论文的类别。评估指标是准确性和宏观F1评分。

  • 深度关系特征显著提高了分类性能。与所有基线相比,我们的方法获得了最好的性能,证明了所提出方法的有效性。具体来说,异构图集合分类模型通常优于仅使用单一关系的方法(如独立分量分析),它支持节点之间的异构依赖关系可以提高分类性能。然后,与仅使用浅层关系的HCC和StackedLearning相比,结果表明从HINs中推断出的深层关系特征可以显著提高分类性能,即提高12%。对于Metapath2vec和HEER,他们只在DBLP表现良好。原因在于,当每个类(如SLAP)的节点分布是离散的时,基于网络结构的嵌入会由于局部相似性而得到更差的效果。基于HGCN和HGCNlp的结果可以得到类似的结论,即由于每个类的节点分布密集,HGCNlp可以通过标签传播层获得更好的性能。与Metapath2vec和HEER相比,我们的HGCN至少提高了13%,这意味着当类之间的边界无法区分时,深度关系特性在捕获节点分布方面表现更好。作为一项明智的检查,LR和CLN的结果都有助于排除HGCN仅依赖内容特征的质量来归档更好的结果,而不是实际改善集体分类的可能性。这些结果进一步巩固了深度关系特征在集体分类中的有效性。
  • 对潜在关系之间的不兼容性建模有利于分类性能。如表3所示,图形选项并不总是优于浅的基于关系的基线(即堆栈学习和HCC),尤其是在SLAP中。我们对这一结果的解释是,SLAP比其他数据集具有更多的边缘类型,这意味着它具有更多不兼容的潜在关系,GraphInception采用的简单连接不能模拟潜在关系之间的不兼容性,可能不足以带来显著的性能提升。类似的结论也可以通过观察得出,图形概念的表现不如HCC和DBLP的StackedLearning,即图形概念被潜在关系间的不相容性所引入的不同标签的混合信息所误导。相比之下,有了细粒度到边缘级别的过滤器参数,我们的HGCN甚至在SLAP中也能以明显的优势胜过GraphInception。
  • 利用异质性有助于提高分类性能。与仅考虑两个末端节点而丢弃元路径上所有中间节点的图形概念相比,该结果有助于说明人类基因组网络不仅推断深层关系特征,而且捕获不同类型节点的细粒度语义。从表2中可以看出,通过与异构卷积运算的耦合和利用节点上下文关系语义,可以提高集合分类的性能,例如,我们的HGCN比CORA中的GraphInception提高了13%。这一观察结果进一步巩固了在HINs中进行集体分类时利用HINs异质性的必要性。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第8张图片

5.3多标签分类

        接下来,我们使用IMDB评估多标签分类任务的有效性。结果见表3。评估指标包括微观F1分数、汉明损失和子集0/1损失。从表3中,可以得出与多类分类任务相似的结论,与其他基线相比,我们的HGCN始终优于具有统计显著性的基线,并实现了2%∞30%的改进。同样值得注意的是,与其他数据集相比,我们在IMDB上的最佳基线性能余量变小了,因为在IMDB中,一部电影的流派之间的低相关性缩小了差距。

5.4可视化验证

        为了清楚地理解我们提出的人类基因组学所学习的潜在关系特征,我们使用t-SNE [24]来可视化在DBLP上训练的隐藏层的输出。我们将可视化结果与其他异构依赖方法进行比较,包括:堆栈学习、HCC和图形选项。实验结果显示在图5中,其中颜色表示作者的研究领域类别。我们可以发现,我们的HGCN可以明确地将同一类节点聚集在一起,并有效地拆分不同类的节点。与其他方法相比,我们的HGCN对不同类别的节点实现了更清晰的分离。相反,图形消费在很大程度上受到噪声环节的影响;HCC和斯塔凯德学习的表现略好于图形理解。通过可视化结果,我们可以发现:1)通过深度关系特征学习方法推断的有价值的信息有利于性能;ii)建模潜在关系之间的不兼容性和捕获节点上下文关系语义有助于提高性能。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第9张图片

5.5模型分析

       接下来,我们将进行一系列分析,以更好地了解HGCN的有效性、健壮性和超参数选择。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第10张图片【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第11张图片

       有效性。为了验证关系抽取方面的有效性,我们利用图形选项在预先定义的浅层关系的条件下使用SLAP数据集抽取关系特征。具体来说,我们首先设置T = 1和K = 2,在这种情况下,图形选项不能学习深层关系特征,而是平衡预定义的浅层关系(即附录A.3中表6中的元路径)。如图6所示,我们可以发现,我们的HGCN在准确性和宏F1分数上有更好的性能,即84.3%和67.2%,它比GraphInception在准确性上提高了4.5%,在F1分数上提高了4.2%。这充分说明我们的HGCN可以自动提取潜在关系,平衡混合关系。

        鲁棒性。此外,在增加初始层导致存在许多噪声关系的情况下,我们验证了我们的混合遗传神经网络的鲁棒性。实验结果如图7所示,我们的HGCN可以有效地从噪声-关系-混合环境中选择适当的关系,方法是装备细粒度到边缘级别的滤波器参数。相反,由于添加卷积运算导致的特征过度平滑,图形选项随着初始层的增加而表现不佳。总的来说,当初始层深度为4时,图形选项的准确性比我们的HGCN下降了24.3%,图形选项的F1分数也下降了23.5%。

        参数敏感度。在我们的混合遗传神经网络中存在三个本质超参数,即卷积核大小、标签传播顺序和初始层数。为了测试性能的稳定性,我们研究了这些超参数在所有数据集上的不同值。在实验过程中,我们保持三个超参数之一不变,同时测试另外两个超参数。此外,为了测试不同训练比tr的性能,我们将tr从0.1改为0.8。

        鉴于CORA和IMDB持有相似的趋势,即它们在三个超参数的不同组合下是稳定的,我们在本节中忽略它们。DBLP和SLAP的实验结果如图8所示。图8(a)和8(b)显示了不同k和t值下的结果。对于DBLP数据集,随着tT和kT的增加,我们可以通过研究更复杂的关系特征得到更好的结果。相反,随着asT和K的增加,由于在模型中引入了噪声关系,我们在SLAP数据集上得到更差的结果。图8(c)和8(d)展示了在不同的K和K值下的结果,从中我们可以观察到除DBLP之外的数据集对标签传播的顺序不敏感。这是因为DBLP的标签分布比其他数据集更集中。此外,结果解释了添加标签传播层并不影响HGCN的有效性。图8(e)和8(f)显示了不同的K和T值,从结果中我们可以观察到,当T小时,通过标记传播层,HGCN可以得到适当的结果,这可以减少参数的数量和计算成本。

【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第12张图片【论文翻译】HCGN:面向集体分类的异构图卷积网络深度学习模型_第13张图片

        不同训练比例的实验结果如表4所示。我们可以发现,在所有训练比率下,我们的方法在准确性和宏观F1得分上具有最佳性能。即使tr从0.8下降到0.1,我们的HGCN也可以保持适当的性能,精度损失最多为23%,而在其他基线中,精度损失最多为34%∞68%。因此,我们得出结论,与其他基线相比,从训练集中提取的关系特征更加有效和鲁棒。

6相关工作

        HINs中的集体分类。集体分类问题[16,18]目前在各种HIN中引起了广泛的关注。例如,ji[10]在HINs中解决了一个专门的分类方案,即不同类型的节点共享一组相同的标签概念。孔等人[13,14]首先利用预定义的元路径将一个整体HIN转化为多个同构网络,然后通过建立概率模型预测HIN中一类节点的标号。Choetkiertikul等人[3]将堆叠模型扩展为仅由一种类型的节点组成但由多种类型的链接组成的多关系网络。然而,这些方法只考虑了HINs的浅层关系。不同的是,本文通过执行多层异构图卷积来推断复杂/深层的潜在关系。

        图形卷积网络。作为图神经网络的一种,图卷积网络一般分为两类:谱域和非谱域。谱方法使用图的谱表示。琼·布鲁纳等人[1]通过寻找相应的傅立叶基将卷积推广到一般的图。Kipf等人[12]提出了一种谱方法,称为图卷积网络,它是通过谱图卷积的局部一阶近似设计的。非谱方法[7]直接在图上定义卷积,在空间上邻近的组上操作。为了探索集体分类问题的深层关系特征,摩尔[22]提出了一种基于RNN的半监督分类方法。然而,以上都只关注同构网络。Pham [23]提出了一种基于堆叠模型[15]和公路网[27]的多关系网络集体分类方法。张等[32]提出了一种基于图初始的方法来解决多通道网络中的集体分类问题。不幸的是,这些工作在一组元路径之上学习了深层关系特性,这使得许多细粒度的信息丢失。不同的是,我们的HGCN旨在直接解决HINs的异构性,以保持丰富的语义。

7结论

在本文中,我们提出了基于异构图卷积网络的深度学习模型HGCN,用于不同HINs的集体分类任务。本文提出了三个主要贡献:1)我们提出了一种深度关系特征学习方法来执行集体分类,它不仅从多关系层次结构中推断潜在的关系特征,而且捕获潜在关系之间的不相容性;2)我们提出的混合遗传神经网络实现了对HINs的直接操作,这样可以完全保留节点上下文关系特征;三)使用四个真实世界数据集的广泛实验验证了我们的人类基因组网络在HINs中集体分类任务的效率。作为第一次尝试,我们的工作提供了一个合适的解决方案,以解决群体分类的异质性问题。

你可能感兴趣的:(异构网络)