正如在提示中存在few-shot和zero-shot一样,CoT也有一个zero-shot的版本。有了Zero-shot-CoT,我们就不需要为不同的复杂推理问题精心设计具体的任务步骤;在回答每一个问题之前,我们只需添加一个简单的提示 "Let’s think step by step",以引导模型逐步思考。最重要的是,Zero-shot-CoT是通用的,与任务无关的。
我们重复尝试了上一页的算术题,看看不同CoT带来的效果。
这一次,ChatGPT 不仅算出了我们想要的答案,还省去了我们编写推理步骤的过程。
纳入外部知识是否能促进常识性推理仍然是一个开放的问题。一系列的工作表明,外部知识的整合可以提高模型的任务表现。知识提示( Knowledge Prompting )不需要对知识整合的具体任务进行监督,也不需要访问结构化的知识库。相反,知识提示可以直接从语言模型中产生知识,然后在回答问题时将这些知识作为附加输入。
用作者的一句话来说“我们提出了一种简单但有效的方法,在few-shot的情况下从通用语言模型中获取知识陈述(即以自然语言陈述形式表达的知识)”。
知识提示主要分为两阶段:
这里我们打算通过 ChatGPT 回复常识性问题;“How many wings does a penguin have?”
ChatGPT认为企鹅是没有翅膀的。
接着我们让 ChatGPT 生成一些跟企鹅有关的知识:
这时候我们通过外部知识的注入,重新向 ChatGPT 提问:
这次企鹅终于要回了它的两只翅膀