一、摘要
SRL主要关注预测知识图谱丢失的信息，知识图谱储存三元组(subject,predicate,object)。eg。(Mikhail Baryshnikov,educated_at,Vaganova Academy)，Baryshnikov和Vaganova Academy)是实体，educated_at是关系，实体标注类型，Vaganova Academy标签是university。
知识图谱有广泛的应用前景，比如问答系统、信息检索。这篇文章我们介绍R-GCNs,解决知识图谱两大经典任务：实体识别、链路预测，实体识别恢复丢失三元组，链路预测将实体进行分类，处理实际生活中多关系数据。接下来，我们将完整展示应用R-GCNs完成实体识别，使用softmax分类node，优化cross-entropy损失得到参数。链路预测类比autoencoder,（1）encoder，R-GCNs生成实体特征表示，（2）decoder，tensor factorization model用这些特征预测带上标签的edge。原则decoder可以使用任何factorization或得到score模型，我们使用最简单有效的模型DistMult，DistMult丰富encode，加速关系图推断过程，在FB15K-237提升了29.8%。
我们主要的贡献有：(1)首次展示GCN可以预测关系数据，(2介绍参数共享的技术，在多关系中处理sparsity constraints,(3)DistMult可以丰富encoder表现，主要关系图中多步骤处理information propagation
二、模型原理
定义多关系图，表示，node(entities),表示labeled edges关系，是关系类型。
1. Relational graph convolutional networks
我们的模型灵感来源于GCNs，GCNs处理图邻居，这些图神经网络和消息传递框架不同。
节点在l-th layer的隐藏状态，传递给element-wise激活方法,比如，表示节点进来的消息，类比于incoming edge集合，消息处理神经网络或者简单的线性转换，这些类型的转换在聚合编码结构化邻居特征非常有效，特别是图分类。受这些启发，我们定义了以下propagation model计算向前更新实体
表示node i的在关系邻居indices，是problem-specifi归一化约束，可以使用。
等式(2)用sum转换邻居特征向量，与常规的GCNs不同，我们介绍基于关系的转换，这些关系依赖边的类型和方向。为了确保在节点依赖层，每个节点加特殊关系self-connection。除了简单的线性消息传递，也可以更加灵活的方法，比如多层神经网络，当然这也会提高计算代价。
2.Regularization
等式(2)随着图中关系增加，参数个数也急速增加。在关系比较少见或图非常大会过渡拟合，为了解决这个问题，我们介绍两种方法，regularing R-GCNs权重：basis和block-diagonal-decomposition。在basis decomposition
i.e.是线性转化， 和是关系r的相关系数。
在block-diagonal decomposition，每个通过低维度矩阵相加
是block-diagonal矩阵
等式(3)可以被看作不同关系参数共享，等式(4)每个关系在权重上sparsity constraint
。block decomposition中，隐藏的特征可以分组成变量集合，组内关系比组外关系更紧密。这两种方式，都可以减少参数数量，basis decomposition可以解决关系少见过拟合问题，因为所有关系都共享参数。
R-GCNs遵循以下原则，等式(2)前一层是下一层的输入，第一层的输入如果节点其他特征，可以使用one-hot。
三、应用
1.实体识别
半监督实体分类，我们通过等式(2)stack R-GCNs layer，在输出层采用softmax(.)激活节点。每个带标签节点采用cross-entropy，忽略没有带标签的节点
有标签节点的索引，是第k层网络的输出，表示真实的标签。在实践中，我们通过随机梯度法训练模型。
2.链路预测
链路预测预测新的三元组，知识图谱生成有向带标签的图，任务是评估到可能的边，未来决定多大可能性这些边属于。
为了解决这些问题，我们介绍自编码模型，有encoder和得分函数decoder。encoder生成节点向量，decoder根据向量表示重建边。通过评估(subject,relation,objection)。我们使用DistMult作为得分函数，，是对角矩阵。在训练模型中，我们还使用了负采样，每一个观测的样例，我们采样w个负样例，通过cross-entropy优化模型，使用观察到的三元组数据高于负样例
是所有真实的三元组，l是logistic sigmoid函数，y=0是负采样
四、实验评估
1. 实体识别
数据集：AIFB,MUTAG,BGS,AM
Baseline模型：
RDF2vec嵌入向量结果：在带标签的节点中随机游走，通过skipgram计算实体向量，最后用实体向量来分类。
结果
RGCNS用的是2层网络16个隐藏层单元，训练使用基础规则，优化使用Adam，训练50轮次，学习率0.01，正则化参数
实体识别的结构是10轮次的平均精度，我们的模型在AIFB,AM是表现突出。MUTAG是分子图，之后转换成RDF格式，数据集中关系很少有特征。BGS中岩石类型，有多层特征，类似于RDG格式，关系表示某个特征或特征层级。MUTAG和BGS的带标签的实体仅仅与高度中枢节点有联系，编码确定的特征。
当然，当节点有很高的度，收集邻居信息有限制，我们可以通过引进attention机制，用代替正则