Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models

本文是LLM系列文章，针对《Revisiting Zero-Shot Abstractive Summarization in the Era of Large
Language Models from the Perspective of Position Bias》的翻译。

摘要

我们通过测量位置偏差来表征和研究大型语言模型（LLM）中的零样本抽象概括，我们提出这是文献中先前研究的更具限制性的引导偏差现象的一般公式。位置偏差反映了模型不公平地将输入文本的某些部分的信息优先于其他部分的倾向，从而导致不期望的行为。通过在四个不同的真实世界数据集上进行的大量实验，我们研究了多个LLM模型（如GPT 3.5-Turbo、Llama-2和Dolly-v2）以及最先进的预训练编码器-解码器抽象摘要模型（如Pegasus和BART）中的位置偏误。我们的发现为零样本摘要任务模型的性能和位置偏误带来了新的见解和讨论。

1 引言

2 相关工作

3 提出的方法

4 结果

5 讨论

6 结论

我们通过一个新的位置偏差公式来分析LLM的零样本抽象摘要。位置偏差衡量的是模型生成摘要的趋势，这些摘要公开和不公平地使用了输入文本的某些部分，而不是其他部分。通过对CNN/DM、XSum、Reddit、News数据集以及各种模型（GPT 3.5-T、Llama-2、Dolly-v2、Pegasus、BART）的广泛实验，我们获得了关于模型性能和位置偏差的新见解，有助于更深入地理解利用LLM进行有效抽象总结的挑战和机遇。