小样本学习-基础概念

小样本学习（Few Shot Learning, FSL)

综述文献：Generalizing from a Few Examples: A Survey on Few-Shot Learning
link：https://doi.org/10.1145/3386252
文献中涉及的定义，根据经验风险最小化分类，应用等描述写的很棒

前提/背景：

机器学习/深度学习在数据集庞大的情况下应用的非常成功，但当数据集很小时，它常常受到阻碍。为了解决这一问题，近年来提出了小样本学习。

定义：

在样本量少的条件下，FSL可以利用先验知识，快速地泛化到只包含少量有监督信息的样本新任务中。

core issue：

样本量少时，误差会比较大，为减小误差可从以下3个角度尝试：

1. 数据：利用先验知识增强监督信号
2. 模型：利用先验知识缩小假设空间的大小
3. 算法：利用先验知识更改给定假设空间中对最优假设的搜索

具体方法：

举例：（图像领域）

1. 数据增强：图像平移、翻转、裁剪、缩放等手动扩充，以及用GAN网络生成，自动搜索空间（将手动扩充的方法形成一个搜索空间，然后解出一个搜索空间），标签传播
2. 模型:嵌入学习&度量学习——Match Network 、Prototypical Network 、Relation Network、多任务学习、生成模型、迁移学习
3. 优化算法：优化参数：权重参数/偏向参数（w/b）—MAML、预训练+微调

*其中，embedding learning 和 metric learning应该是同一种类型吗？

Ref：

https://www.cnblogs.com/zhengzhicong/p/12952354.html#_label1
https://www.bilibili.com/video/BV1Et4y1i7pu?spm_id_from=333.337.search-card.all.click