论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction

---

论文 Simultaneously Self-Attending to All Mentions for  Full-Abstract Biological Relation Extraction

Verga, Patrick, Emma Strubell, and Andrew McCallum. "Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction."   arXiv preprint arXiv:1802.10569  (2018).

问题：在关系抽取中，现有的工作没有考虑：1）提及的交互；2）每一个实体对之间的冗余计算；3）跨越句子编辑额的关系

        同时在编码长的token序列时，LSTM不容易并行计算；CNN 融合上下文的信息依赖其层数，而深的层CNN不容易学习

任务：生物领域 关系抽取；同时以实体级别的关系远距离监督，提出的大的数据集

动机：self attention的相关工作等

方法：提出了新架构 Bi-affine  Relation Attention Networks (BRANs), 整合多实例多任务：

            整合了卷积和self attention 的Transformer修改版本，sub-word

            关系抽取与实体抽取两个任务：1）实体抽取，使用BIO标记；3）关系抽取，在最后的实体polling的时候才考虑实体提及信息

试验：论文中在不同的数据集上都有试验

结论：

创新：

论文中存在的问题/疑惑:We tokenize the text using byte pair encoding  (BPE) (Gage, 1994; Sennrich et al., 2015).

使用BPE进行tokenize，构建词汇

思考：多head self attention； Transformer

整体的架构，多任务，多实例，主要是为了缓解在标注时候的几个问题：交互、重复计算

为了处理跨越句子的关系，对很长的token进行编码，使用google 的transformer的结构，一方面可以并行计算，另一方面对输入的长度可以不进行限制，而且使用multi-head attention机制，在输入序列很长的时候，仍旧能够自动学习token之间的依赖关系

使用BPE，特别针对生物信息领域的，能对这个领域的性能进一步提升。

在有实体提及信息时，可以将实体识别模块作为正则项，这样更能提高模型对实体所携带的信息直接到编码到张量中；在没有提及信息时，本文正好可以进行NER，提出了新的标注数据。