关系抽取|自然语言处理中关系抽取任务现有技术分析

1.基于深度学习的关系抽取任务

在基于深度学习的关系抽取任务中，其主要分为3个研究方向：（1）引入远程监督的关系抽取任务；（2）引入多示例学习的关系抽取任务；（3）联合实体识别的关系抽取任务。下面将分别介绍这三个研究方向的主要方法及其优缺点，对基于强化学习的关系抽取任务的可行性进行对比分析。

1.1 引入远程监督的关系抽取任务

在传统的关系抽取任务中，无论是输入句子的特征表示，还是句子所属关系的分类结果，都需要耗费大量的人力进行标注，因为，为了减少人工标注数据的成本，引入了远程监督的方法，其假设在知识库中，若存在实体A与实体B的关系R，则同时具有实体A和实体B的句子，也具有关系R。
　　通过使用这种方法，将知识库当中的关系引入到正常的自然语言句子当中进行训练，例如“苹果”和“乔布斯”在KB中的关系是CEO，那么我们就假设类似于“【乔布斯】发布了【苹果】的新一代手机”的句子上存在CEO的关系，如此，利用KB对海量的文本数据进行自动标注，得到标注好的数据（正项），再加入一些负项，随后训练一个分类器，每个分类是一个关系，由此实现关系抽取。

　　优点：大大减少人工标注数据的成本，并减少人为标注错误数据所带来的影响。
　　缺点：引入了噪声，无法识别相同实体对的其余关系。

1.2 引入多实例学习的关系抽取任务

由于远程监督的方法在关系抽取任务中会引入额外的噪声，导致当具有相同实体对的多个句子具有不同关系时，模型均会将其分类为知识库中已有的关系。
　　因此，为了降低远程监督方法造成的影响，引入了多实例学习。当存在具有相同实体对的多个句子时，该方法假设至少一个提及这两个实体的句子将表达它们的关系，并且仅在训练和预测中为每个实体对选择最可能的句子。
该方法最经典的实现是通过CNN/PCNN对多个具相同实体对的句子进行编码，然后，使用句子级别的Attention机制，来选择最有可能表达这两个实体关系的句子，代入到MLP中对关系进行分类。其模型结构如下：

　　优点：降低远程监督对关系抽取带来的影响，提高了关系抽取的准确率。
　　缺点：无法识别当一个句子中具有多个关系时的情况，即处理一对多关系。

1.3 远程监督和多实例学习总结

虽然远程监督和多实例学习的方法在一定程度上满足对输入句子进行关系抽取的任务，但是一方面，在进行关系抽取任务之前，需要提前指定相应句子中的实体对及其位置，即关系抽取任务是建立在实体识别（NER）的基础上的，另一方面，对于一个句子中具有多个关系时的情况，即处理一对多关系时，模型无法较好的处理。
为了解决上述两个问题，另外一个关系抽取方法就是将该任务转换为一个序列标注的任务，通过将NER，和NRE进行联合建模，充分利用实体与关系间的相互信息。

1.4 联合实体识别的关系抽取任务

单独地将关系抽取任务转换为一个分类任务，即先抽取实体，再抽取关系，这种方法被证明是有缺陷的，一方面，需要耗费大量的人力分别对两个任务的数据进行标注，另一方面，NER模型的结果会影响后续RE模型的性能，并且导致误差累计。因此，为了充分利用实体与关系之间的信息，需要对实体识别和关系抽取进行联合建模。
研究者们提出了一种新型的序列标注方案，将实体识别和关系抽取的联合问题转换为序列标注问题。并且，将这种方案应用于多种end-to-end模型(使用端到端模型，而不是先进行命名实体识别,NER,再进行关系抽取)。其标注方式如下所示：

标注规则为：

• O:others
• 非O(三部分组成):
  实体位置 BIES begin inside end single
  关系类别 relation type 预定义的关系集
  关系角色 1 or 2 分别代表在一个三元组的前面还是后面
  其中，最常用的序列标注任务的模型结构为BI-LSTM。通过使用双向RNN来提取句子的上下文特征，其模型结构如下图所示：
  
  　　优点：提高了实体识别和关系抽取任务的精度，减少了在实体识别错误情况下的累积误差。
  　　缺点：当一个句子中存在重叠实体时，具有较低处理精度，另外对于处理一对多关系的任务，仍然无法较好解决。

2 基于强化学习的关系抽取任务

强化学习作为在线学习的一种方式，能够根据实时到来的数据流去动态改变模型参数，从而提供一个随着数据的更新不断地改变模型应用场景的技术。
　　一方面，正如之前所说，远程监督的方法会在关系抽取任务中引入噪声，降低模型精度。而将强化应用于关系抽取任务中，能够解决远程监督方法自动生成的训练数据中的噪音问题，提高远程监督的鲁棒性。
另一方面，对于一个句子中存在重叠实体时，或者对于一个实体对来说在同一句子中存在多个对应关系的情况时，传统的深度学习方法无法较好解决。通过将分层强化学习应用到关系抽取任务中，能够较好的解决上述问题。

2.1 用强化学习来去除远程监督生成数据集中的噪声

由上面叙述可知，远程监督的方法假设若知识库中存在具有关系R的实体对，则对于所有包含这两个实体对的句子来说，都将该句子所具有的关系标注为关系R。但是，对于具有相同实体对，关系不同的句子来说，就变成了False Positive数据，此时若将标注完的数据带入带分类器中进行训练，将会影响分类器的性能。
　　在多实例学习中，通过去抑制噪声数据，提高正确标注数据的权重，来提高分类器的性能，而强化学习方法，则引入一个用于检测被错误标注数据的Agent，在每个Epoch，通过删除一些被认为是False Positive的数据，来观察分类器性能的变化，其目的是为了在每次迭代后获取更好地分类器性能。其结构如下所示：

其更新过程如下所示：

其损失函数定义如下：

其中，$R$为第$i$次迭代与第$i-1$次迭代分类器F1值之差，即 :

2.2 用强化学习来解决实体关系一对多的问题

上面所讲述的无论是将关系抽取看作是文本分类任务，还是序列标注任务，都无法较好的解决依一句话中存在一个实体对包含多个关系，或者多个实体对指向不同关系的情况。
　　在强化学习方法中，通过引入一个分层强化学习框架，采用两个Agent分别去识别关系和实体。在该方法中，与远程监督的强化学习不同，该方法需要对每一个句子进行关系和实体的标注，并且由于采用的是蒙特卡罗策略梯度算法，在时刻t的价值，需要Agent遍历完句子中的所有单词才能得到，其处理过程如下所示：

两Agent处理顺序如下所示：