Zero-Shot、One-shot、Few-Shot 的简介

本文将介绍以下内容：

• Zero-Shot Learning 的提出
• ZSL 的通俗理解
• GPT 之 Zero-Shot
• Zero-Shot、One-shot、Few-Shot 的通俗理解

一、Zero-Shot Learning 的提出

零样本学习 Zero-Shot Learning，简称 ZSL，是由 Lampert 等人在 2009 年提出的。他们提供了一个 Animals with Attributes 数据集以及经典的基于属性的学习算法，开启了这一机器学习新方法。从原理上来说，ZSL 就是让计算机模拟人类的推理方式，来识别从未见过的新事物。之所以独立出来，是因为它解决问题的思路不同于传统的机器学习方法。

二、ZSL（Zero-Shot Learning） 的通俗理解

首先通过一个例子来引入zero-shot的概念。假设小明和爸爸，到了动物园，看到了马，然后爸爸告诉他，这就是马；之后，又看到了老虎，告诉他：“看，这种身上有条纹的动物就是老虎。”；最后，又带他去看了熊猫，对他说：“你看这熊猫是黑白色的。”然后，爸爸给小明安排了一个任务，让他在动物园里找一种他从没见过的动物，叫斑马，并告诉了小明有关于斑马的信息：“斑马有着马的轮廓，身上有像老虎一样的条纹，而且它像熊猫一样是黑白色的。”最后，小明根据爸爸的提示，在动物园里找到了斑马。

上述例子中包含了一个人类的推理过程，就是利用过去的知识（马，老虎，熊猫和斑马的描述），在脑海中推理出新对象的具体形态，从而能对新对象进行辨认。（如图1所示）ZSL就是希望能够模仿人类的这个推理过程，使得计算机具有识别新事物的能力。

如今十分火热的纯监督模型往往需要足够多的样本才能训练出足够好的模型，并且用熊猫训练出来的分类器，只能对熊猫进行分类，其他物种都无法识别，也无法进行特征的综合推理，这样的模型功能还有待完善。

ZSL就是希望我们的模型能够对其从没见过的类别进行分类，让机器具有推理能力，实现真正的智能。其中零次（Zero-shot）是指对于要分类的类别对象，一次也不学习。这样的能力听上去很具有吸引力，那么到底是怎么实现的呢？

假设我们的模型已经能够识别马，老虎和熊猫了，现在需要该模型也识别斑马，那么我们需要像爸爸一样告诉模型，怎样的对象才是斑马，但是并不能直接让模型看见斑马。所以模型需要知道的信息是马的样本、老虎的样本、熊猫的样本和样本的标签，以及关于前三种动物和斑马的描述。假设我们的模型已经能够识别马，老虎和熊猫了，现在需要该模型也识别斑马，那么我们需要像爸爸一样告诉模型，怎样的对象才是斑马，但是并不能直接让模型看见斑马。所以模型需要知道的信息是马的样本、老虎的样本、熊猫的样本和样本的标签，以及关于前三种动物和斑马的描述。以一般的图片分类问题为例：
（1）训练集数据X1及其标签Y1,包含了模型需要学习的类别（马、老虎和熊猫），这里和传统的监督学习中的定义一致；
（2）测试集数据 X2及其标签 Y2,包含了模型需要辨识的类别（斑马），这里和传统的监督学习中也定义一致；
（3）训练集类别的描述 A1，以及测试集类别的描述 A2；我们将每一个类别 Yi,都表示成一个语义向量ai的形式，而这个语义向量的每一个维度都表示一种高级的属性，比如“黑白色”、“有尾巴”、“有羽毛”等等，当这个类别包含这种属性时，那在其维度上被设置为非零值。对于一个数据集来说，语义向量的维度是固定的，它包含了能够较充分描述数据集中类别的属性。
 
在ZSL中，我们希望利用X1和Y1来训练模型，而模型能够具有识别X2的能力，因此模型需要知道所有类别的描述A1和A2。ZSL这样的设置其实就是上文中识别斑马的过程中，已知的条件。
 
实际上zero-shot就可以被定义为：利用训练集数据训练模型，使得模型能够对测试集的对象进行分类，但是训练集类别和测试集类别之间没有交集；期间需要借助类别的描述，来建立训练集和测试集之间的联系，从而使得模型有效。

三、GPT 之 Zero-Shot、One-shot、Few-Shot

chatGPT 的发展史，就是从 zero-shot 到 few-shot。（摘自沐神的 paper reading 系列）

GPT1：发现预训练模型具有 zero-shot 的能力，并且能随着预训练的进行不断增强。为了进一步验证 zero-shot 的能力，OpenAI 在 GPT-1 提出一年后，推出了 GPT-2。

GPT2：传统 NLP 任务中始终需要下游任务有监督数据去训练。GPT-2 想彻底解决这个问题，通过 zero-shot，在迁移到其他任务上的时候不需要额外的标注数据，也不需要额外的模型训练。GPT-2 的核心思想就是，当模型的容量非常大且数据量足够丰富时，仅仅靠语言模型的学习便可以完成其他有监督学习的任务，不需要在下游任务微调。

GPT3：虽然 GPT-2 的 zero-shot 有比较高的创新度，但效果平平。GPT-3 为了解决此问题，不再去追求那种极致的不需要任何样本就可以表现很好的模型，而是考虑像人类的学习方式那样，仅仅使用极少数样本就可以掌握某一个任务，因此就引出了 GPT-3 标题 Language Models are Few-Shot Learners。GPT-3 在下游任务的评估与预测时，提供了三种不同的方法：

Zero-shot：仅使用当前任务的自然语言描述，不进行任何梯度更新；
One-shot：当前任务的自然语言描述，加上一个简单的输入输出样例，不进行任何梯度更新；
Few-shot：当前任务的自然语言描述，加上几个简单的输入输出样例，不进行任何梯度更新；

其中 Few-shot 也被称为 in-context learning，虽然它与 fine-tuning 一样都需要一些有监督标注数据，但是两者的区别是：

• 【本质区别】 fine-tuning 基于标注数据对模型参数进行更新，而 in-context learning 使用标注数据时不做任何的梯度回传，模型参数不更新；
• in-context learning 依赖的数据量（10～100）远远小于 fine-tuning 一般的数据量；

最终通过大量下游任务实验验证，Few-shot 效果最佳，One-shot 效果次之，Zero-shot 效果最差：

上图中，横坐标为模型参数量，纵坐标为任务精度，图中大量灰色线表示不同下游任务，橙色/绿色/蓝色线是下游任务效果的平均值。

参考

• 零次学习（Zero-Shot Learning）入门
• Few-Shot, Zero-Shot & One-shot 的通俗理解