相似度系列-7：单维度：Evaluating the Factual Consistency of Abstractive Text Summarization

Evaluating the Factual Consistency of Abstractive Text Summarization

在研究方法上，还需要不是特别的精致，而且，和人类的correlation度，没有做评比，可能是因为是二分类问题，并且数据都是由人来标注的。

这篇文章在引入研究内容上，可以！！！
challenges ,such as factual consistency.

在摘要生成任务中，评估事实的连贯性
事实的一致性
事实的一贯性
事实一致性
fact check 和factual consistency 是不一致的。

语句写法上，abstract中，介绍背景，介绍我们的工作，介绍工作结果。
在introduction中，
Common approaches to summarization are extractive, abstractive, and hybrid. 巴拉巴拉一顿
Desipte many significant efforts made by the reseacher community, there are also still big many challenges exists in the progress of limiting progress in summarization.
引出了研究内容，比如：insufficient evaluation protocols 遗漏了重要的点，such as factual consistency, unchecked ,noisy ,automatically collected datasets 等等。
我们做了什么？

发现了没？大家在指标中，都会给出一个东西，这个指标是神魔？在这个指标下，神魔情形下，是好的结果？

一个与事实相符的摘要只包含源文件所包含的陈述。
事实一致性检查侧重于在不保证信息真实的情况下，将事实与源文档提供的信息保持一致。

方法部分

先人的研究中一致性有sentence-sentence级别，summary中的每个sentence和document中的每个sentence做对比，检查factual consistency.
作者认为这是不充分的，对于一些需要长距离依赖关系才可以被判断的或者需要多个sentences一起才能判断的情形，是不支持的。可能会遗漏掉一些错误信息。
（use of incorrect entity names, numbers, and pronouns. Other errors such as negations and common sense error occur less often）

所以，这篇文章是对sentence-document level做判断。

1训练数据

采用基于规则变换的方法得到的。根据上边分析的错误类型，建立用于训练的数据集。

1. 例子是通过首先从源文件中抽取单句（后来被称为索赔）来创建的。
2. semantically invariant (T+), and variant (T−) text transformations to generate novel claims with CORRECT and INCORRECT labels accordingly.
3. 改写，使用backtranslation得到最终的结果
4. entity and number swapping：NER 系统识别实体，然后再正确的实体用不正确的实体替换掉。
5. Pronoun swapping，首先从原始句子中提取所有特定性别的代词。接下来，随机选择一个代词与同一代词组中的不同代词互换，以确保句法的正确性。
6. Sentence negation Positive sentences would be negated by adding not or n’t after the chosen verb, negative sentences would be switched by removing the negation
7. Noise injection，随机重复或从序列中删除
   

2 模型

针对改写之后的数据，每一种改写类型下，使用CLS token作为分类依据，训练二分类模型，判断是correct 还是incorrect。