Joint entity and relation extraction based on a hybrid neural network论文笔记

Joint entity and relation extraction based on a hybrid neural network是中科院自动化所2017年发表在Neurocomputing期刊上的论文，提出了一种用于NER和RC的联合模型，可能同时用到了CNN和LSTM，所以叫做hybrid neural network。

一、网络结构：

主要分为三个 模块：

1、编码模块：先通过嵌入层将one-hot表示的词语转换成分布式表示的词向量，然后经过双向LSTM进行编码，这里用的LSTM结构和之前了解的有点区别（TextRNN），留意权重的计算和输出门的计算。

2、NER模块

经过编码后得到了每个词的短程记忆信息表示h，再经过一层单向的LSTM解码后利用softmax分类。其中前一个词语的概率分布表示T也要输入到LSTM单元中，因此修改了input门的计算方式，其余的和编码模块的一致。

3、RC模块

经过编码和NER后，已经判断出了每个词的标签，然后开始进行关系分类。下图中实体的隐藏层表示是经过编码后的隐藏层向量h，如果一个实体有多个词就相加求和。两个实体间的间用词向量表示，然后参考TextCNN的方式进行分类。

二、模型的训练：

NER和RC的目标函数分开，优化方法用RMSprop。文中说先训练NER模块再训练RC模块，比较好奇是在一个训练步骤中做，还是NER整个训练完了再开始训练RC。

三、数据集

用的是ACE05，