ICDE2020|基于深度学习的关系抽取

Improving Neural Relation Extraction with Implicit Mutual Relations

Jun Kuang, Yixin Cao, Jianbing Zheng, Xiangnan He, Ming Gao, Aoying Zhou

East China Normal University, Shanghai, National University of Singapore, University of Science and Technology of China

http://staff.ustc.edu.cn/~hexn/papers/icde20-NRE.pdf

关系抽取旨在从文本语料中抽取两个实体间的关系。关系抽取在构建知识图谱中起着至关重要的作用。

大多数现有方法预测实体对的关系依赖于从训练句子中来学习这种关系,这里的训练句子包含目标实体对。

远程监督方法的缺陷在于抽取关系没有充分的训练语料,作者们所提方法不同,该方法可以从大量无标签语料中挖掘隐含相互关系,它可以将实体对的语义信息转换为关系抽取模型,这种模型表达力更强,而且语义上可信。

基于隐含相互关系构建实体邻近图之后,作者们将图中的每个节点映射到低维空间中,同时能够保持实体对之间的语义关系。进而能够将隐含相互关系跟其他实体信息,比如实体类型,简单灵活的集成到现有实体关系抽取方法中。

作者们在纽约时报和谷歌远程监督数据集中进行了实验,结果表明,作者们所提出的神经关系抽取框架对关系抽取任务的效果带来客观的提升,显著优于STOA方法。此外,挖掘隐含相互关系比较灵活,该元素能够对基于CNN和基于RNN的关系抽取模型带来显著提升。

现在的问题主要在于样本不足,比如

ICDE2020|基于深度学习的关系抽取_第1张图片

另外一个问题即为噪声数据,比如

ICDE2020|基于深度学习的关系抽取_第2张图片

这篇文章的主要贡献在于

ICDE2020|基于深度学习的关系抽取_第3张图片

远程监督学习方法有一定的缺陷

ICDE2020|基于深度学习的关系抽取_第4张图片

目前基于神经编码的几种方法有以下几种

ICDE2020|基于深度学习的关系抽取_第5张图片

缓解噪声问题的方法有以下几种

比如注意力机制

ICDE2020|基于深度学习的关系抽取_第6张图片

强化学习也可以用于缓解噪声问题

ICDE2020|基于深度学习的关系抽取_第7张图片

此外,对抗学习也可以用于缓解噪声问题

ICDE2020|基于深度学习的关系抽取_第8张图片

这篇文章的网络结构如下

ICDE2020|基于深度学习的关系抽取_第9张图片

其中主要包含四个部分

1. 构建实体邻接图

ICDE2020|基于深度学习的关系抽取_第10张图片

2. 实体类型嵌入

ICDE2020|基于深度学习的关系抽取_第11张图片

3. 基于句子级别的注意力PCNN

ICDE2020|基于深度学习的关系抽取_第12张图片

4. 隐含相互关系及实体类型融入RE

ICDE2020|基于深度学习的关系抽取_第13张图片

其中 构建实体邻接图 有三个步骤

ICDE2020|基于深度学习的关系抽取_第14张图片

实体邻接图示例如下

ICDE2020|基于深度学习的关系抽取_第15张图片

实现细节如下

ICDE2020|基于深度学习的关系抽取_第16张图片

邻接图的权重计算方式如下

ICDE2020|基于深度学习的关系抽取_第17张图片

一阶邻接定义如下

ICDE2020|基于深度学习的关系抽取_第18张图片

二阶邻接的目标函数如下

ICDE2020|基于深度学习的关系抽取_第19张图片

实体的相互关系定义如下

ICDE2020|基于深度学习的关系抽取_第20张图片

实体类型嵌入的细节如下

ICDE2020|基于深度学习的关系抽取_第21张图片

ICDE2020|基于深度学习的关系抽取_第22张图片

句子嵌入及编码方式如下

ICDE2020|基于深度学习的关系抽取_第23张图片

句子级别的注意力形式如下

ICDE2020|基于深度学习的关系抽取_第24张图片

相互关系的计算公式如下

ICDE2020|基于深度学习的关系抽取_第25张图片

最终的计算公式如下

ICDE2020|基于深度学习的关系抽取_第26张图片

数据集描述如下

ICDE2020|基于深度学习的关系抽取_第27张图片

下面是对数据集进行表格形式的汇总

ICDE2020|基于深度学习的关系抽取_第28张图片

评价指标如下

ICDE2020|基于深度学习的关系抽取_第29张图片

参数设置范围如下

ICDE2020|基于深度学习的关系抽取_第30张图片

下面是最优参数

ICDE2020|基于深度学习的关系抽取_第31张图片

下面是几种参与对比的方法

ICDE2020|基于深度学习的关系抽取_第32张图片

结果如下

ICDE2020|基于深度学习的关系抽取_第33张图片

ICDE2020|基于深度学习的关系抽取_第34张图片

作者们所提出的方法比较灵活,如下图

ICDE2020|基于深度学习的关系抽取_第35张图片

对于不同的共现频率,效果变化及对比如下

ICDE2020|基于深度学习的关系抽取_第36张图片

个例示例如下

ICDE2020|基于深度学习的关系抽取_第37张图片


              我是分割线


您可能感兴趣

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)

KDD2019|基于注意力的深度学习如何实时预测购买还是浏览

AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)

ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)

SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

SIGIR2019|基于注意力机制的新型深度学习模型(采莓树模型BIRD,已开源)

SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)

KDD2018|基于GBM的动态定价回归模型

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)

IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN

聊聊CatBoost

聊聊XGBoost CatBoost LightGBM RF GBDT

顶会中深度学习用于CTR预估的论文及代码集锦 (3)

ICML 2018 深度学习论文及代码集锦(5)

深度学习用于文本摘要的论文及代码集锦

深度学习用于机器翻译的论文及代码集锦

深度学习用于序列标注中的论文及代码集锦

深度学习在推荐系统中的应用及代码集锦(4)

深度学习在OCR中的应用论文及代码集锦 (2)

你可能感兴趣的:(ICDE2020|基于深度学习的关系抽取)