LLM大模型提示工程Prompt Engineering

在LLM中影响词汇的分布主要通过两种方式，一种是通过提示（Prompting），另外一种就是通过训练（Training）。提示是影响词汇分布最简单的方法，通过给LLM输入提示文本（有时会包含指令和示例）使得词汇的分布概率发生变化。以上一篇中提到的例子说明，最初的语句是 “我写信给农场，希望他们送我一个宠物，他们送给我一只（）“词汇的分布如下：

代码语言：javascript

**复制

牛 0.1 羊 0.2 狗 0.3 猫 0.2 马 0.1 猪 0.05 兔子 0.2

如果为该句子增加一个提示词“小”，“我写信给农场，希望他们送我一个宠物，他们送给我一只小（）”将会对词汇的分布概率产生变化，可以看到小动物狗和猫的概率会增加，而大一些的牛会降低。

代码语言：javascript

**复制

牛 0.05 羊 0.2 狗 0.4 猫 0.4 马 0.1 猪 0.05 兔子 0.2

这就是一个简单的输入的文本提示影响词汇分布，最终生成更为准确的文本示例。

提示工程是指为了引起某种特定的回答方式，进行反复改善提示的过程。提示工程通常不直观，并且不能保证有效，因此非常具有挑战性，但通过有效的提示工程，可以更好地利用人工智能模型的能力，获得更令人满意的结果。

提示包括很多种策略，在这里介绍几种常见的策略。

• In-context learning：通过指令或演示来提示模型完成它的任务。例如，给模型提供一些关于某个概念的具体例子作为上下文，然后让模型根据这些例子来推断新的输入与该概念的关系。或者在自然语言处理任务中，提供一段文本作为上下文，模型根据这段文本的语义和结构来理解和处理新的句子。
• K-shotprompting：在提示中明确地提供K个预期任务地示例。例如，我们希望一个模型能够将英语翻译成法语，可以对模型进行如下提示：

Translate the following text from English to French:

1. “Hello” -> “Bonjour”
2. “Goodbye” -> “Au revoir”
3. “Thank you” -> “Merci”
4. “How are you?” -> “Comment allez-vous?”
5. “I am fine” -> “Je suis bien”
6. “Translate this sentence: “The book is on the table.”” -> “La livre est sur la table.”
<