SPOTTING LLMS WITH BINOCULARS: ZERO-SHOT DETECTION OF MACHINE-GENERATED TEXT

本文是LLM系列文章，针对《SPOTTING LLMS WITH BINOCULARS: ZERO-SHOT DETECTION OF MACHINE-GENERATED TEXT》的翻译。

摘要

检测现代大型语言模型生成的文本被认为是困难的，因为LLM和人类都可能表现出广泛的复杂行为。然而，我们发现，基于对比两个密切相关的语言模型的评分在区分人工生成的文本和机器生成的文本方面是非常准确的。基于这种机制，我们提出了一种新的LLM检测器，该检测器只需要使用一对预训练的LLM进行简单计算。这种被称为Binoculars的方法在没有任何训练数据的情况下实现了最先进的精度。它能够从一系列现代LLM中发现机器文本，而无需任何特定型号的修改。我们对多个文本源和不同情况下的Binoculars进行了全面评估。在广泛的文档类型中，Binoculars检测到来自ChatGPT（和其他LLM）的90%以上的生成样本，假阳性率为0.01%，尽管没有根据任何ChatGPT数据进行训练。

1 引言

2 LLM检测的历程

3 Binoculars：如何工作的

4 准确的零样本检测

5 可靠性

6 讨论与局限性

我们提出了Binoculars，这是一种在零样本情况下检测LLM的方法，在这种情况下，从被检测的模型中没有可用的数据。我们的可转移检测器在零样本设置下工作，而无需访问用于生成的特定模型或其中的示例数据。我们推测，这种可转移性源于现代LLM之间的相似性，因为它们都使用几乎相同的Transformer组件，并且可能是在主要包括来自相似时间段的Common Crawl（commoncrawl.org）数据的数据集上训练的。随着开源LLM的数量迅速增加，当在实践中使用时，例如用于平台调节时，用单个检测器检测多个LLM的能力是Binoculars的主要优势。
我们的研究有很多局限性。由于GPU内存有限，我们不会在检测器中使用更大（30B+）的开源模型进行更广泛的研究。此外，我们专注于在正常使用中检测机器生成的文本的问题设置，并且我们不考虑绕过检测的明确努力。最后，还有其他非会话文本领域，如源代码，我们在本研究中没有进行研究。