2024年1月17日Arxiv热门NLP大模型论文：MIT、IBM推出新方法，大幅提升LLMs的连贯性、准确性和可更新性！

引言：探索语言模型的真实性和一致性

在当今信息爆炸的时代，语言模型（Language Models，简称LMs）已成为获取信息和验证事实的重要工具。然而，现有的LMs在生成事实性内容时常常出现错误，甚至自相矛盾，更新新信息也颇具挑战。为了解决这些问题，研究者们提出了一种新的LM微调方法——Deductive Closure Training（DCT）。DCT的核心思想是利用LMs自身在推理时的能力，通过自监督的方式提高LMs的事实性。

声明：本期论文解读非人类撰写，全文由赛博马良「AI论文解读达人」智能体自主完成，经人工审核后发布。
智能体传送门：赛博马良-AI论文解读达人

本章节将探讨DCT的工作原理，以及它如何提高LMs在生成文本时的真实性和一致性。

1. 真实性与一致性的挑战

尽管LMs在某些情况下能够生成事实正确的文本，并评估单个声明的真值，但这些通常并不反映出一个全局一致、可操纵的世界模型。因此，当前的LMs也会生成不正确或无意义的内容，并且难以编辑和更新。例如，一个无法回答“查理·卓别林去世时多大？”的LM，可能在被提示“查理·卓别林生活在1889年到1977年之间”后提供正确答案，并认识到这个声明与“查理·卓别林生活在21世纪”相矛盾。我们如何利用LMs评估事实关系的能力来改进（并控制）LMs自身生成的文本呢？

2. DCT的工作原理

DCT从一组种子文档开始，利用LMs生成这些文档所暗示的额外文本，全局推理这些生成文本的正确性，最后在推断为正确的文本上进行微调。这种方法不仅可以用于受信任来源的种子文档，提供监督模型更新的工具；如果种子文档是从LM本身抽样的，DCT还可以实现完全无监督的微调，以提高一致性和准确性。

3. DCT的效果

在多个数据集上的实验表明，DCT能够显著提高LMs的事实验证和文本生成准确性。无论是在监督还是完全无监督的条件下，DCT都展现出了提高模型一致性和可编辑性的潜力。这些结果表明，模型的一致性和编辑问题可能不需要专门的编辑或训练技术：自监督目标，优化LM输出的一致性和完整性，可以提高它们的准确性和可更新性。

论文标题、机构、论文链接和项目地址(如有)

• 论文标题：Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability
• 机构：Boston University, MIT, IBM Research, Monash University Indonesia
• 论文链接：https://arxiv.org/pdf/2401.08574.pdf
• 项目地址：Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability | Project page for the Deductive Closure Training.

Deductive Closure Training (DCT) 方法概述

1. DCT的核心思想与目标

Deductive Closure Training (DCT) 是一种旨在提高语言模型（LMs）事实性的自监督训练方法。DCT的核心思想是利用语言模型自身在推理时的能力，来作为训练时的监督信号。这种方法的目标是优化语言模型，使其生成的文本在逻辑上是一致的，并且能够反映出全局一致的、可操作的世界模型。具体来说，DCT追求的是让语言模型在逻辑上封闭，即如果模型给出了某个陈述P的高概率，并且P能够推导出Q，那么模型也应该给Q一个高概率。

2. 从种子文档到推理：DCT的工作流程

DCT的工作流程开始于一组种子文档，这些文档可以是来自可信来源的事实、用户提供的新信息，甚至是模型自身生成的文本。DCT使用语言模型生成每个种子文档所隐含的额外文本，这些文本在逻辑上由种子文档推导出来或与之矛盾。然后，DCT利用语言模型全局推理这些文档的集合，识别出最有可能正确的子集，并最终在推断为正确的文本上进行微调。这个过程可以根据种子文档的来源不同，用于监督模型更新或完全无监督的微调，以提高一致性和准确性。

文档生成与一致性评估：DCT的关键步骤

1. 如何生成相关文档

文档生成是DCT的第一步，它使用语言模型针对每个种子文档生成一组相关文档。这些文档包括由种子文档直接推导出的陈述和与之矛盾的陈述。生成过程可能包括一个双重检查步骤，其中使用语言模型验证种子文档是否确实隐含或矛盾于生成的文档，对于不高概率输出“是”的文档将被丢弃。

2. 如何评估文档的一致性

一致性评估是DCT的第二步，它旨在识别最有可能集体为真的文档子集。这一步利用语言模型对文档之间的逻辑关系进行分类，并考虑模型给每个文档分配的先验概率。例如，如果模型认为“明治天皇是现代日本的第一位天皇”这一陈述很可能是真的，那么与之矛盾的陈述“明治天皇是日本的最后一位天皇”就很可能是假的。通过这种方式，DCT选择最可能一致的真值分配，并在此基础上进行语言模型的微调。

语言模型微调：DCT的实现

微调过程的具体操作

Deductive Closure Training (DCT) 是一种利用语言模型（LM）自身在推理时的能力来提升其在训练时的事实性的方法。微调过程从一组种子文档开始，这些文档可能来自可信的外部来源，也可能是LM自身生成的。DCT使用LM来识别由这些文档所暗示或与之相矛盾的额外文本，并全局推理出在这些文档中哪些部分最可能是正确的，最后在推断为正确的文本上进行微调。

具体来说，DCT首先使用LM生成每个种子文档的相关文档集合。然后，通过LM对这些文档进行一致性评估，识别出最有可能共同为真的子集。例如，如果种子文档声称“乡村音乐起源于英国”，DCT可能会生成“英国因乡村音乐而闻名”这样的陈述。接下来，DCT会评估这些文档的一致性，选择最可能为真的一致性分配，并在这些文档上对LM进行微调。

种子数据的来源与分类

种子数据的来源和分类决定了DCT微调的不同应用方式。如果种子文档来自可信的事实来源，DCT可以用于进行有监督的适应性训练。如果文档包含要插入LM的新信息，DCT提供了模型更新（或“编辑”）的工具。最后，如果种子文档由模型本身生成，DCT允许完全无监督的微调，以提高准确性。

DCT的多样化应用

无监督微调与模型一致性

在无监督微调中，初始种子集是由LM自身生成的，例如，通过提示LM在感兴趣的主题上生成一组文档。这种方式旨在提高模型的一致性，即使LM在生成种子文档时可能会犯错误，评估步骤也可以（并且实际上确实会）导致LM重新标记采样的种子文档以及条件生成的文档。

有监督微调与模型更新

在有监督的微调中，种子集来自外部的监督数据源。如果这些数据被认为是可靠的，我们在评估步骤中将每个种子数据的真值固定为1。这可以与无监督程序结合使用。在模型更新、编辑和连续学习中，我们将文本描述的所需编辑视为种子文档，并在这些文档及其所有推论上进行微调。

模型编辑与连续学习

DCT也可以用于模型编辑和连续学习。例如，如果我们希望更新LM以编码当前英国首相不是鲍里斯·约翰逊而是里希·苏纳克的事实，LM也应该产生与当前首相的妻子不是凯丽·约翰逊而是阿克沙塔·穆尔蒂相一致的文本。在这种情况下，我们将新信息的文本视为种子文档，并在生成阶段提示模型将这些信息与同一主题的其他背景知识结合起来，产生相关的推论。

实验验证：DCT在不同领域的应用

在本章节中，我们将探讨Deductive Closure Training (DCT)在不同领域的应用，并通过实验验证其效果。DCT是一种利用语言模型（LM）自身推理能力来提高其生成文本的事实性和一致性的训练方法。通过对种子文档集合的推理，DCT能够生成额外的文本，并对这些文本进行全局推理，以确定最可能正确的文本子集，然后在这些推断为正确的文本上进行微调。

1. 事实验证任务的表现

在事实验证任务上，DCT被应用于CREAK基准测试，结果显示，无监督的DCT在验证准确性上提高了12%，而有监督的DCT提高了高达26%。这表明DCT能够有效提升模型在事实验证方面的性能。

2. 模型更新与问题回答的效果

在模型更新和问题回答任务上，DCT被应用于MQUAKE基准测试，该测试评估模型在处理新信息方面的能力。DCT通过将新信息作为种子文档，并生成与之相关的文本，能够有效地将新信息整合到模型中，从而提高问题回答的准确性。

3. 一致性模型的检验

在一致性模型的检验上，DCT被应用于“Reversal Curse”基准测试，该测试旨在评估模型捕捉新事实的简单逻辑推论的能力。DCT通过在训练样本上生成推论，并在这些推论上进行微调，能够在不显著影响原始问题性能的情况下，提高模型在逆向陈述上的准确性。

定性分析：DCT如何提升模型性能

在本章节中，我们将通过定性分析来探讨DCT如何提升模型性能。通过手动注释约350个生成样本，我们评估了DCT在不同方面的影响。

1. 双重检查的作用

在CREAK的监督设置中，双重检查步骤能够提高生成的推论和矛盾文本的准确性。这一步骤通过模型重新评估其初始答案，从而提高了模型预测正确陈述的比例。

2. 模型如何结合内部知识进行推理

在MQUAKE任务中，DCT能够结合模型的内部知识进行推理。例如，给定编辑Chauncey Billups与pesäpallo运动相关，模型使用了背景知识“Pesäpallo在芬兰流行”来生成“Chauncey Billups出生在芬兰”的推论。

3. 生成文本的新颖性分析

在“Reversal Curse”数据集上，DCT生成的推论从简单的逻辑推论到添加世界知识的更罕见推论。DCT在生成推论时，经常自行生成类似测试集的逆向推论，这表明模型倾向于生成以人物为起点的文本。

结论与展望：DCT对模型真实性和可更新性的提升

在本文中，我们介绍了一种名为Deductive Closure Training（DCT）的新型语言模型（LM）微调方法，旨在提高模型的真实性和可更新性。DCT通过利用LM在推理时的能力，作为训练时的监督信号，从而在不需要额外监督的情况下，提高LM的准确性和一致性。

1. DCT的工作原理

DCT的核心思想是利用LM自身来识别其生成文本的含义及其内在的逻辑关系。具体来说，DCT首先从一组种子文档开始，这些文档可以是来自可信赖的外部来源，也可以是LM自身生成的。然后，DCT指导LM生成由这些文档所暗示或与之矛盾的额外文本，并对这些生成的文本进行全局推理，以确定哪些部分最有可能是正确的。最后，DCT会在推断为正确的文本上进行微调。

2. DCT的应用方式

DCT的应用非常灵活，可以根据种子文档的来源进行不同的调整。例如，当种子文档来自可信赖的事实来源时，DCT可以用于监督模型的事实性适应。如果文档包含要插入LM的新信息，DCT提供了模型更新的工具。最后，如果种子文档是由模型自身生成的，DCT可以实现完全无监督的微调，以提高准确性。

3. DCT的效果验证

在多个数据集上的实验结果表明，DCT在无监督和监督条件下都能显著提高模型在事实验证和模型编辑任务上的准确性。例如，在CREAK数据集上，无监督的DCT提高了验证准确性12%，而监督的DCT提高了准确性高达26%。这些结果表明，通过优化LM输出的一致性和完整性，可以提高它们的准确性和可更新性。

4. DCT的未来发展

DCT的提出为提高LM的真实性和可更新性提供了一种有效的方法。然而，我们也必须意识到，如果种子文档来自不可靠的来源，这些技术也可能被用来优化LM，生成逻辑一致的虚假事实，从而增加其作为生成错误信息工具的有效性。因此，未来的研究需要在提高LM真实性的同时，也关注其安全性和伦理性。

综上所述，DCT通过在训练过程中利用LM的推理能力，为提升模型的真实性和可更新性开辟了新的途径。这一方法不仅提高了LM在各种任务上的表现，而且为未来LM的发展提供了新的思路和可能性。

声明：本期论文解读非人类撰写，全文由赛博马良「AI论文解读达人」智能体自主完成，经人工审核后发布。
智能体传送门：赛博马良-AI论文解读达人