论文笔记 EMNLP 2020|A Method for Building a Commonsense Inference Dataset based on Basic Events

1 简介

论文题目：A Method for Building a Commonsense Inference Dataset based on Basic Events
论文来源：EMNLP 2020
论文链接：https://aclanthology.org/2020.emnlp-main.192.pdf
代码链接：https://nlp.ist.i.kyoto-u.ac.jp/EN/index.php?KUCI

1.1 创新

• 提出了一个可扩展、低偏差、低成本的方法构造常识推理数据集。

2 方法

构造数据集的方法如上图包括下面4个部分：

• 提取基本事件：使用 case frames自动获得谓词-论元结构(基本事件)，如下图：
  
• 提取基本事件对：使用依赖和话语解析提取事件对(因果关系、条件关系)，同时加入一些约束，进行补全和筛选。
• 通过众包对基本事件对进行验证。
• 生成常识推理问题(事件对中的第一个事件作为上下文，第二个事件作为选择)，同时加入一些约束(选择之间的cos相似度、上下文之间的cos相似度、错误选择的长度)，保证问题是可辨别的。

3 实验

实验选择BERT模型，将上下文和选择进行拼接，然后输入BERT进行分类，概率计算公式如下：

实验结果如下：


错误分析：

验证数据库的偏差，仅对模型输入选择，准确率为41.2%，原因可能是有很多选择被复用，如下图：

相似度的相融实验：