提示的艺术:基于类型特定提示的事件检测(ACL2023)

The Art of Prompting: Event Detection based on Type Specific Prompts

1、写作动机:

(1)在训练数据充足或稀缺的情况下,提示的选择是否重要?

(2)最佳的事件检测提示形式是什么?

(3)如何最好地利用提示来检测事件论元?

2、主要贡献:

比较了各种形式的提示来表示事件类型,并开发了一个统一的框架,以整合特定于事件类型的提示,用于监督、少样本和零样本事件检测。

3、问题定义:

3.1事件检测设置:

1)监督事件检测:

遵循传统的监督事件检测设置,其中训练、验证和评估数据集涵盖相同的事件类型集。目标是学习一个模型 f,以识别和分类目标事件类型的事件提及。

2)少样本事件检测:

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第1张图片

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第2张图片

3)零样本事件检测:

3.2事件类型提示:

(a) 事件类型名称是事件类别名称,通常由一个到三个token组成。

(b) 定义可以是正式描述事件类型含义的简短句子。

(c) 原型种子触发器是一列频繁被识别为事件触发器的token或短语。

(d) 事件类型结构由事件关键论元角色组成,指示目标事件类型的核心参与者。

(e) 提示也可以是连续软提示,即用于表示每个事件类型的自由论元的自由向量。

(f) 进一步定义了一个更全面的描述 APEX 提示,由人工编写,涵盖了除软提示以外的所有先前的提示。

4、事件检测框架:

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第3张图片

步骤一:给定一个输入句子 W = {w1, w2, . . . , wn},将每个事件类型提示 T t = {τ t 1, τt 2, . . . , τt m} 视为 M 个token的查询,以提取事件类型 t 的触发器。具体而言,首先将它们连接成一个序列 [CLS] τ t 1 ... τ t m [SEP] w1 ... wn [SEP]。

步骤二:使用预训练的 BERT 编码器获取输入句子 W = {w0, w2, ..., wn} 和事件类型提示 T = {τ t0, τ t1, ..., τ tm}2 的上下文表示。

步骤三:学习一个权重分布,覆盖事件类型提示的上下文表示序列,以获取事件类型 t 感知的的上下文表示⬇

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第4张图片

有了这个,事件类型感知的上下文表示 Ait 将与来自编码器的原始上下文表示 wi 进行连接,并分类为一个二进制标签,指示它是否是事件类型 t 的候选触发器:

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第5张图片

5、实验:

(1) APEX提示在所有三个基准数据集的所有设置中都取得了最佳性能。与先前的最先进方法相比,APEX提示在SED(ERE)、FSED(ACE)和ZSED(MAVEN)上分别显示出了最高4%、22.2%和19.7%的F-score提升;

(2) 所有形式的提示都为FSED和ZSED提供了显著的改进,表明通过各种形式的提示利用事件类型的语义是有益的;

(3) 除APEX外,种子触发器在大多数设置下提供的改进比其他形式的事件类型提示更多,表明其准确表示事件类型语义的潜力;

(4) 连续软提示的性能不如其他形式的事件类型表示,这证明了利用事件类型特定的先验知识对表示的必要性;

(5) 多数投票并没有显示比个别提示更好的改进,因为每个提示捕捉事件类型语义的特定方面。

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第6张图片

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第7张图片

提示的艺术:基于类型特定提示的事件检测(ACL2023)_第8张图片

6、局限性:

大多数现有本体的事件类型并未得到适当的定义。例如,在ACE中,transfer-money被定义为“在不涉及购买的情况下给予、接收、借入或借出金钱”。然而,模型很难准确解释它,特别是“不涉及购买”的限制。

你可能感兴趣的:(NLP事件抽取,人工智能,自然语言处理)