A Hierarchical Framework for Relation Extraction with Reinforcement Learning

A Hierarchical Framework for Relation Extraction with Reinforcement Learning （2019 AAAI）

Idea：目前现存的关系抽取模型大多基于显式实体的情况下。即在进行关系抽取之前，句子中的实体已经被标记出。因此，关系类型和实体之间的交互并没有完全的被建模。本文提出了一种新颖的实体关系新范式，即将实体作为关系的参数来处理关系抽取。该模型提成了一种分层架构来增强实体和关系之间的交互。整个模型被分为两个强化学习策略:关系识别器和实体抽取器，该结构可以赋予模型处理重叠关系的能力。

 

任务定义：该模型将关系识别作为一个高级别的强化学习过程，将实体抽取作为一个低级别的强化学习过程。此联合学习任务可以被视为一个顺序扫描句子的过程。(I)高级别的关系识别器明确句子的某些位置包含某种关系。如果被判定含有关系，则低级别的过程从该句子片段中识别出对应该关系的实体。(II)当低级别的实体抽取器完成后。(III)高级别的关系识别器继续扫描(IV)句子的剩余部分寻找下一个关系。

Hierarchical Extraction Framework

      整个抽取过程可以被定义为如下：代理判断句子中的特定范围内是否存在着关系，该过程不同于关系分类任务，其不需要事先被标记好的实体，当没有足够多的证据来支持该范围内存在着语义关系，则该段句子会被打上NR（无语义关系）的标记。否则某种关系标记将被触发，代理也将启动其子任务来识别对应于该关系的两个实体。当实体被标识出时子任务完成，代理将继续扫描句子的其余部分来寻找其他关系。

 

 

 

Relation Detection with High-level RL

Option: 选项ot属于，NR代表没有关系，R代表关系类型集合。用来指明某范围内的句子片段中，是否存在关系。若存在则启动低级别的实体抽取器，否则继续向下扫描。

State: 在实际步t的状态s由以下三部分组成（1）当前隐层状态。（2）上一步非NR关系的向量化表示。（3）t-1时间步的状态。

              

隐层状态通过LSTM生成：

Policy: 依据当前状态来判断类别关系：

Reward:

该中间状态不会马上被转移，直到其子任务被完成。当句子中的最后一个单词背扫面过后，也会生成一个最终的reward：

 

 

Entity Extraction with Low-level RL

当高级别关系指示器判别了一个非NR的关系，低级别的实体抽取器将被触发。

Action: 每个时间步的action用于来为每个单词生成标签，标签集合被定义为：，S代表源实体，T代表目标实体，O代表与该关系无关的实体，N为非实体单词，B代表实体的开始，I代表实体内部。用此定义可以处理重叠关系情景。

 

State: 当前状态由四部分组成（1）当前单词的隐状态。（2）t-1时刻的单词标签表示。（3）t-1时刻的状态表示。（4）上下文状态表示。

Note：context向量中引入了关系识别器中的状态s来作为附加项。

 

Policy: 依据当前状态s和关系向量o来预测单词标记：

Reward:

α为一个小于一的值，为了避免模型将所有单词的标签预测成非实体。

 

Hierarchical Policy Learning            

对高级别的关系指示器和低级别的实体抽取器分别优化：

以上算法的整个过程被定义为如下：

原文链接：https://arxiv.org/abs/1811.03925