CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction

CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction

领域:远程监督

MIL:multi instance learning(多实例学习)

核心:

认为之前在远程监督处理上,采用注意力机制等方法,会使得包内的信息损失,另外,无论一个bag包含多少个实例,在MIL中只能使用形成的bag-level表示进行进一步训练,这是非常低效的。因此,希望采用构建正例和负例样本,充分利用bag中的intsance的信息。

文章的出发点

:如何使初始 MIL 框架足够高效以利用所有实例,同时保持在 DS 数据噪声下获得准确模型的能力?
核心思想:共享相同关系三元组(即正对)的实例在语义空间中应该靠近,而具有不同关系三元组(即负对)的实例的表示应该远离

流程:

sentence encoder

(句子编码:【CLS】 t1 t2 t3 t4 【H-CLS】e1【H-SEP】t5 t6【T-CLS】e2 【T-SEP】t7 t8…)
包编码:采用软注意力机制得到对应的包的表示,训练目标是:在得到包表示的条件下,对应bag的relation label 的概率最大
在这里插入图片描述

对抗实例学习

正向实例的构建:
1是随机在包含s的bag中选择一个不是s的实例s’作为正实例
2以当前包含s的包的表示作为s的正实例
3.基于IF-IDF方式,对s做重建,插入、替换一些不重要的词(实体词不能变动)

(1.2的噪声比较大,依赖于包的质量,因此,认为3更佳)
负向实例的构建:
1、随机从t这个包里选择一个实例作为s的负例
2、使用Bt这个包的表示作为s的负例

训练目标:
在这里插入图片描述

预训练模型的训练


mask 机制
训练目标:Lm
总的训练目标:

CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction_第1张图片

实验数据:

手工和DS构建两种(数据集质量会影响模型效果,模型在不同数据集上表现好,才是真的好)
CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction_第2张图片

在related work中,提到了一些有代表的工作,但还不是很了解。

你可能感兴趣的:(论文记录,机器学习,深度学习,人工智能)