Re54：读论文 How Context Affects Language Models‘ Factual Predictions

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：How Context Affects Language Models’ Factual Predictions

ArXiv网址：https://arxiv.org/abs/2005.04611

2020年AKBC论文，作者来自脸书和UCL。

本文主要关注zero-shot cloze-style question answering任务，使用LM+无监督检索，考察需要检索出什么样的上下文。

用DrQA检索器（TF-IDF检索维基百科）检索的结果，LM在QA上的指标就能和无监督场景相媲美。

open-domain QA的传统做法是retriever+reader（生成回答）

1. 数据集

2. LM

BERT
RoBERTa（削减了LAMA数据集以使其全部在RoBERTa的词表中）

3. baseline

DrQA：TF-IDF检索维基百科→抽取答案
将完形填空格式问题改成QA对："X was born in [Mask]" to "Where was X born?"

4. 上下文设置

在BERT中用不同的segment embeddings区分问题（0）和上下文（1），中间再加个[SEP]
RoBERTa用EOS
后面的实验证明这个操作能提升效果。这可能是因为利用了BERT的NSP任务。

限长512

1. oracle上下文：Wikipedia snippet

Wikipedia Snippet 是从 Wikipedia 页面上提取的一小段文本，通常用于快速展示相关条目的主要内容或概述。这种摘要可以帮助用户快速了解某个主题的核心信息，无需阅读整个条目。在搜索引擎结果中，Wikipedia Snippet 常常出现，以便用户在点击进入 Wikipedia 网站之前，就能获得关键信息。例如，如果你搜索一个历史人物、科学概念或者任何其他主题，搜索引擎可能会显示来自 Wikipedia 的简短摘要，这就是所谓的 “Snippet”。

2. 相关上下文：检索或生成
3. 对抗上下文：信息不足版（从同关系别的问题的oracle上下文中随机抽取）

5. 主实验结果

a：结果token经常不出现在检索上下文中
b：结果token是否出现在上下文中，如何影响模型预测结果。确实影响

每种上下文相比无上下文的改变量，是否加separation的效果对比：

证明NSP起作用：
不同方案在不同数据集上的NSP率

LM概率的变化与NSP概率的关系

↑这个图的纵坐标差别这么大还画成这样，感觉不好。虽然我知道是为了表现趋势相似，但是纵坐标完全不在一个量级上啊！

案例分析：