吴恩达《面向开发者的提示词工程》

Ref： 【中英字幕 | P01 Introduction】2023吴恩达新课《面向开发者的提示词工程》_哔哩哔哩_bilibili

对应的笔记 ChatGPT Prompt - 知乎

本课程主要介绍指令微调LLM的最佳实践

在大型语言模型或LLM的开发中，大体上有两种类型的LLM，我将其称为Base LLM 和 Instruction Tuned LLM.下面分别进行介绍：

• Base LLM: 从互联网直接抓取了大量文本数据进行训练，可以回答一下基础的问题，可以根据已知的信息，为了回答或是续写后面的内容，例如你问“法国的首都是什么？” ，它会回答“巴黎” ，这种信息都可以从互联网中搜集得到。但其也有可能回答错误，或是不知道。

• Instruction Tuned LLM(经过指令调整后的LLM): 其根据用户输入的指令，以及回答的反馈进行优化，也就是被称为RLHF(人类反馈强化学习技术)进一步进行细化，更加符合具体的场景，还可以考虑到安全，回答的无害性，这种LLM将来更符合生产或是使用场景。

由于经过指令调整后的LLM, 其刻意被训练为有用的，无害的(无害可以理解为错误的回答以及进行不良的行为示范)模型，很多实际应用场景渐渐开始向指令调整后的LLM转移，因此，建议大多数人应该专注于经过指令调整后的LLM。

一、提示的关键原则

  (一) 提示的关键原则 - 知乎

原则一：编写清晰而具体的指令

策略一：使用定界符(delimeter)分割不同的输入中的不同部分

2. 策略二：要求结构化的输出

3. 策略三：要求模型检查是否满足条件

4. 策略四：提供少量示例

原则二：给模型充足的思考时间

1. 策略一：指定完成任务所需的步骤
2. 策略二：指导模型得出结论前自己制定一个解决方案
3. 策略三：模型的局限性

二、提示词的迭代优化

(二) 迭代优化 - 知乎

        使用者需要先尝试编写提示，然后通过迭代逐步完善它，直至得到需要的结果。关键在于拥有一种有效的开发Prompt的过程，而不是知道完美的Prompt。

三、文本总结：

(三) 文本总结(summarizing) - 知乎

总结或概括是LLM中的一个较为成熟的应用，可以将其结合到应用程序中，充分发挥其功能。

四、文本推理

(四) 文本推理(inferring) - 知乎

        模型接收文本作为输入并进行某种分析的任务，例如提取对应的标签，提取关键名称，理解文本的情感等。

        文本推理对应的子任务有很多，让模型去做这些任务相比于传统机器学习而言，要方便很多，省去了复杂的流程，对于多个子任务，也可通过一个prompt实现。涉及到的示例有情感分类、信息抽取，主题推断。

五、文本转换

(五) 文本转换(transforming) - 知乎

• 文本翻译
• 多语种翻译
• 语气或风格的调整
• 格式转换
• 拼写和语法检查
• 综合任务

六、文本扩展

(六) 文本扩展(Expanding) - 知乎