LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS

Tags: LLM
Authors: Andrei Ioan Muresanu, Harris Chan, Jimmy Ba, Keiran Paster, Silviu Pitis, Yongchao Zhou, Ziwen Han
Created Date: October 31, 2023 10:53 AM
Status: Reading
organization: University of Toronto, University of Waterloo, Vector Institute
publisher : ICLR
year: 2023
code: https://github.com/keirp/automatic_prompt_engineer
paper: https://sites.google.com/view/automatic-prompt-engineer

介绍

在大模型时代，提示的作用非常巨大，一个好的提示可以在任务中表现出极好的性能。但通常来说最有效的提示是由人手工制作的，需要耗费大量的人工开销。因此本文就尝试让大语言模型自动生提示本并优化提示。

整体框架

整体流程如下：

1. 利用大语言模型，根据数据集中的输入和输出，构造多个提示。
2. 对每个提示进行打分。
3. 筛选性能较好的提示，让大语言模型根据筛选结果生成相近的提示
4. 选择最优的提示。

不同生成模板

为了适应不同的需求，作者还设计了三种不同的模板

迭代生成

为了更好地搜索优质提示，作者根据当前得分较好的提示进行重新生成。

实验结果

Greedy表示只生成一个提示，不进行筛选。