CopyRE关系抽取

CopyRE

模型包括编码器和解码器两部分
编码器：将输入的句子（源句子）转换为固定长度的语义向量
解码器：读取该矢量并直接生成三元组

Encoder

编码器使用Bi-RNN对输入句子进行编码。

Decoder

解码器会直接生成三元组。

• 1、 解码器生成三元组的关系

• 2、解码器采用copy mechanism 从源句子中复制第一个实体（头实体）

• 3、解码器采用copy mechanism 从源语句中复制第二个实体（尾实体）

• 4、重复这个过程，解码器可以生成多个三元组。当生成了所有有效的三元组时，解码器会生成NA三元组，代表“停止”，NA三元组由NA关系和NA实体对组成

CopyRE公式表示

如图所示，解码器按照模块可分为：

1. Predict Relation：关系预测
2. EntityCopy （Copy the First Entity、Copy the SecondEntity）：实体复制（头实体、尾实体）
3. EXtracted triplets：三元组抽取

Encoder

如上图所示，编码器使用Bi-RNN对输入句子进行编码。
$$o_t^E,h_t^E=BiRNN(x_t,h_{t-1}^E)$$
$$s=[h_n^E;h_n^E]$$

Decoder

如上图所示，解码时，每三个时间步为一个循环提取一个三元组，依次生成三元组的关系（Predict Relation）、从原句中复制第一个实体（Copy the First Entity）、从原句中复制第二个实体（Copy the Second Entity），构成完整的三元组。解码器不断重复上面三步生成多个三元组，生成了所有有效的三元组时，解码器生成NA三元组，停止。
$$o_t^D,h_t^D=g(u_t,h_{t-1}^D)$$
$$h_0^D\leftarrow s$$
$$u^t=[v^t;c^t]\cdot W^u$$

Predict Relation

$$q^r=selu(o_t^D\cdot W^r+B^r)$$
$$q^{NA}=selu(o_t^D\cdot W^{NA}+B^{NA})$$
$$p^r=softmax([q^r;q^{NA}])$$
$p^r$作为下一时间步的$v^{t+1}$输出到一阶段

EntityCopy

Copy the First Entity

$$q_i^e=selu([o_t^D;o_i^E]\cdot w^e)$$
$$p^e=softmax([q^e;q^{NA}])$$
$p^e$作为下一时间步的$v^{t+1}$输出到一阶段

Copy the Second Entity

$$M_i=\{\begin{array}{c}1,i\ne k\\ 0,i=k\end{array}$$

$$p^e=softmax([M\otimes q^e;q^{NA}])$$
$p^e$作为下一时间步的$v^{t+1}$输出到一阶段

EXtracted triplets

符号声明

$$X=[x_1,x_2,...,x_n]$$

符号	含义
$$X=[x_1,x_2,...,x_n]$$	输入句子s转换成的词向量矩阵
$$t(0\le t\le n)$$	表示当前位置（时间步长）
$$BiRNN()$$	双向RNN模型
$$n$$	输入句子的长度
$$M$$	掩码矩阵
$$q^r$$	有效关系的置信向量
$$q^e$$	原句子中所有词汇的置信向量
$$q^{NA}$$	NA关系或实体的置信向量
$$o_t^D$$	时间步长为t时的解码器输出
$$h_t^D$$	时间步长为t时的解码器隐状态输出
$$c_t$$	注意力向量
$$v_t$$	复制的实体嵌入

参考：
CopyRE: Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism, ACL 2018
NLP中实体关系三元组抽取模型范式总结