【Meta-Learning】元学习综述 Meta-Learning in Neural Networks: A Survey （ing）

参考资料

7 Nov 2020　论文原文： https://arxiv.org/pdf/2004.05439.pdf
现有翻译： https://blog.csdn.net/qq_38680752/article/details/106488508
7 Oct 2020深度元学习：https://arxiv.org/pdf/2010.03522.pdf
论文集合：　https://github.com/floodsung/Meta-Learning-Papers

元学习是什么

参考资料　：元学习（Meta-learning）——李宏毅老师教学视频笔记 - 郑思座的文章 - 知乎
https://zhuanlan.zhihu.com/p/108503451

https://www.sohu.com/a/324068498_129720

元学习是指， 学会学习（Learn to learn），
元学习，需要搞清其与传统深度学习、终身学习（life-long learning）、迁移学习中的model pre-training的区别与联系，尤其是与model pre-training的区别，这一点将在后文不断强调。终身学习的目标是学到一个模型可以做所有的任务，有点“一招鲜吃遍天”的意味，而元学习是掌握其他任务的内在原理从而举一反三，有点“学好数理化走遍天下都不怕”的意味。用我们这一行的话来理解元学习就是，当一个程序员掌握了基本的C++、python、Java，后面不管学什么语言都能迅速掌握，这就是元学习算法的魅力。

主动学习可以帮助我们更聪明地对特定数据创建标签。如果恰当得应用这一技巧，与一般的模型相比可以使用更少的数据进行训练。而在元学习的领域，我们不再关注获取标签。与之相反，我们尝试让机器从少量的数据中更快的学习。

图 1：元学习的概念框架。元学习从大量任务训练模型，并通过少量数据在新任务中更快地学习。

训练元学习器需要一个学习器和一个训练器。学习器（模型）的目标是快速利用少量数据学习新任务。因此，学习器有时也被称为快速学习器（fast learner）。「任务」在这里是指任何监督学习问题，比如预测少量样本的类别。这个学习器可以用元学习器训练，从而能从大量其他类型的任务中学习。学习过程主要即元学习器不断向学习器展示成百上千种任务，最终学习器就会学得众多任务的知识。学习后，需要经过两个阶段：第一个阶段关注从每个任务中快速获取知识；在第二阶段（学习器）缓慢将信息从所有任务中取出并消化。

我们用一个实例来说明一下。例如，我们的目标是训练一个将图片分类到 4 个类别（猫、熊、鱼和鸟）的分类器，但是每个类别只有少量的带标签数据。为了实现这一目标，我们首先定义一个学习器，这个学习器的目标即预测二分类问题，且每个类别只有三个样本。我们然后定义一个元学习器，元学习器的工作是向学习器展示任意两个类别的样本组合，且每个类别只有三个样本。

和一般的深度学习将大量标注数据分为不同的 Batch 不一样，元学习的训练数据表现为集合（set）的形式。首先，我们需要一组样本，或者被称为「支持集」（support set），它由一些属于样本子集的图片构成。例如，在我们的例子中，支持集应该由三张猫和三张熊的图片组成。我们同时需要指定被分类图片，它们组成了一个「目标集」（target set）。在我们的例子中，目标集应该是一些猫或者熊的图片。支持集和目标集共同构成了一个训练 episode。元学习器学习各种各样的训练集，并将它们一个训练集一个训练集的展示给学习器。学习器的工作则是尝试将每一个训练集中的目标集图片正确的分类。

图 2：元学习的训练集。在例子中，需要对猫、熊、鱼和鸟一共 4 类图片进行分类，但每次构建训练集时，只使用这些分类的子集，并将训练集分为支持集和目标集。第一个训练集的支持集是猫和鱼的图片（3 张），目标集是鱼和猫各 1 张图片，它们都需要进行分类。第二个训练集中，使用猫和熊的图片作为支持集，目标集同样是猫和熊的图片。多种类的训练集组合（猫+鱼，猫+熊，熊+鱼）不仅可以使快速学习器学习每一个子集的分类，还可以使它抽取类别之间的共性和特性。

元学习的研究现状

元学习有哪些方法