Re54:读论文 How Context Affects Language Models‘ Factual Predictions

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称:How Context Affects Language Models’ Factual Predictions

ArXiv网址:https://arxiv.org/abs/2005.04611

2020年AKBC论文,作者来自脸书和UCL。

本文主要关注zero-shot cloze-style question answering任务,使用LM+无监督检索,考察需要检索出什么样的上下文。

用DrQA检索器(TF-IDF检索维基百科)检索的结果,LM在QA上的指标就能和无监督场景相媲美。

open-domain QA的传统做法是retriever+reader(生成回答)

文章目录

  • 1. 数据集
  • 2. LM
  • 3. baseline
  • 4. 上下文设置
  • 5. 主实验结果

1. 数据集

Re54:读论文 How Context Affects Language Models‘ Factual Predictions_第1张图片

2. LM

BERT
RoBERTa(削减了LAMA数据集以使其全部在RoBERTa的词表中)

3. baseline

DrQA:TF-IDF检索维基百科→抽取答案
将完形填空格式问题改成QA对:"X was born in [Mask]" to "Where was X born?"

4. 上下文设置

在BERT中用不同的segment embeddings区分问题(0)和上下文(1),中间再加个[SEP]
RoBERTa用EOS
后面的实验证明这个操作能提升效果。这可能是因为利用了BERT的NSP任务。

限长512

  1. oracle上下文:Wikipedia snippet

Wikipedia Snippet 是从 Wikipedia 页面上提取的一小段文本,通常用于快速展示相关条目的主要内容或概述。这种摘要可以帮助用户快速了解某个主题的核心信息,无需阅读整个条目。在搜索引擎结果中,Wikipedia Snippet 常常出现,以便用户在点击进入 Wikipedia 网站之前,就能获得关键信息。例如,如果你搜索一个历史人物、科学概念或者任何其他主题,搜索引擎可能会显示来自 Wikipedia 的简短摘要,这就是所谓的 “Snippet”。

  1. 相关上下文:检索或生成
  2. 对抗上下文:信息不足版(从同关系别的问题的oracle上下文中随机抽取)

5. 主实验结果

Re54:读论文 How Context Affects Language Models‘ Factual Predictions_第2张图片

Re54:读论文 How Context Affects Language Models‘ Factual Predictions_第3张图片
a:结果token经常不出现在检索上下文中
b:结果token是否出现在上下文中,如何影响模型预测结果。确实影响

每种上下文相比无上下文的改变量,是否加separation的效果对比:
Re54:读论文 How Context Affects Language Models‘ Factual Predictions_第4张图片

证明NSP起作用:
不同方案在不同数据集上的NSP率
Re54:读论文 How Context Affects Language Models‘ Factual Predictions_第5张图片

LM概率的变化与NSP概率的关系
Re54:读论文 How Context Affects Language Models‘ Factual Predictions_第6张图片
↑这个图的纵坐标差别这么大还画成这样,感觉不好。虽然我知道是为了表现趋势相似,但是纵坐标完全不在一个量级上啊!

案例分析:

你可能感兴趣的:(人工智能学习笔记,语言模型,人工智能,自然语言处理)