关系抽取泛读系列（一）—— CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-T...

一、写在前面的话

1. 论文的相关背景

实体识别和关系抽取的目标是从非结构化的文本中发现（实体1、关系、实体2）的三元组，它对知识库的构建和问答任务都很重要，是信息抽取的核心问题。通常使用流水线方法进行抽取：先对句子进行实体识别，然后对识别出的实体两两组合，再进行关系分类，最后把存在实体关系的三元组做为输入。但这样的做法存在以下缺点：1.错误传播，实体识别模块的错误会影响下面的关系分类性能。2.差生了没必要的冗余信息，没有关系的实体会带来多余信息，提升错误率。

2. 论文主要解决的问题

CopyMTL是在CopyRE基础上进行改进，CopyRE是一种基于 copying mechanism + seq2seq 结构的联合关系抽取模型，但存在以下两个缺点：

• 对头尾实体其实区分不大，基本上使用的是统一预测分布

• 只能抽取单字，不能抽取成词的字

二.论文方法介绍

1. 模型核心思路

模型的结构与CopyRE基本一致，主要分为Encoder和Decoder。Encoder部分使用BiLSTM建模句子上下文信息，Decoder部分则结合copying mechanism生成多对三元组。同时，针对CopyRE只能抽取单字，不能抽取成词的字的问题，引入命名实体任务进行多任务学习。

2. 模型结构

• Encoder

使用BiLSTM建模上下文信息

• Decoder

解码部分使用Attention + LSTM去建模

Attention

最后使用一个全连接层获取输出

另外，与常规的seq2seq不同，CopyMTL需要获取的是三元组，所以对于头实体、关系和尾实体需要采用不同的策略：

1. 对于关系预测

由于对于三元组的解码从关系开始，所以先做关系预测，同时加入NA表示没有关系。

2. 头实体预测

预测文中哪一个实体最可能是当前关系下的头实体

3. 尾实体预测

在CopyRE中，需要加入隐码矩阵

但CopyMTL认为这主要是由于预测实体时使用的方式不当：

因此在CopyMTL中更改了预测方式，使用如下公式进行预测：

激活函数使用selu

• Sequence Labeling

对于CopyRE只能预测单字的问题，CopyMTL加入了一个命名实体任务：

• 多任务

将seq2seq和Sequence Labeling 的损失加权融合

是命名实体的损失：

是seq2seq的损失：

三、论文实验

1. 实验数据集和指标介绍

• 数据集

• 评测指标

  常见的精准率、召回率和F1分数

2. 论文所使用的参数信息

论文设置
优化算法	Adam
学习率	0.001.
embedding dimension	100
lstm hidden size	1000
max number of decoded triplets	5
的权重	1

3. 对比结果