元学习与小样本学习理解 Meta learning and Few shot learning

 元学习     

      1. 训练策略：样本划分如下图所示，

        任务之间：每一行都是一个任务 task ,任务与任务之间的类别不尽相同，也就是说一般类别是不同的，有一点重叠无所谓（只要保证任务与任务的类别的不同就行了，因为这就是这种样本划分机制的关键所在）。

       任务之内，也将样本划分为两部分。training data 有的论文也把它叫做 support data , test data 有的论文也把它叫做 Query data 。Query data的类别属于support data中的类别。

       将模型经过大量的训练，每次训练都遇到的是不同的任务，这个任务里存在以前的任务中没有见到过的样本。所以模型处理的问题是，每次都要学习一个新的任务，遇见 nuseen 的class。 经过大量的训练，这个模型就理所当然的能够很好的处理一个新的任务。这个新的任务就是小样本。

        当进行Meta-testing的时候，新的任务Task 的样本设置与训练中的任务一样。现在我有 N wey k shot 的经过标记的小样本，这些样本都是以前训练中所没见过的，希望能够在这几个小样本的帮助下，能够分类识别未标记的若干张图片（当然这几张图片的类别属于 N wey）。

       更抽象的理解：这种训练方式，在经历无数的不同任务训练之后，能够更好的处理任务之间的不同，忽略特定任务的特征。因此能够在遇到小样本新任务的时候，效果很好。

2.元学习器和学习器的划分：

        在具体到模型上，有的模型会明确的区分出元学习器和学习器。在训练的时候，通常情况下，元学习器根据 traing data 生成学习器，test data 喂给学习器来预测结果，反向传播。

       理解：在元学习器中保留了在无数个任务中学习到了，能很好地适应新任务的信息。在遇到小样本的任务的时候，就能够利用元学习器，在支持集的帮助下，构建学习器，很好的对目标进行分类识别。

3.元学习与小样本

       元学习并不是一个非常严格的定义，很多人就把它定义为 learn to learn 的模式。有的可能使用了元学习的训练策略，或者叫做训练机制，但没有非常明显的划分出元学习器和学习器（但是仔细的观察能够区分出代码中的元学习器和学习器）。有的可能不仅采用了这种训练策略，还在模型里明确的划分出了元学习器、学习器。

      元学习并不等于小样本学习，毕竟元学习已经存在很多年了，出现的比小样本研究要早。采用元学习和其他算法相结合，能够完成各种各样的任务，例如元学习方法实现增强学习。但是从前面的分析看，元学习是天然适合于小样本学习，所以大量的小样本的研究和元学习联系在一起。因为元学习这种策略，和其他大多方法并不冲突，并且在小样本学习上具有非常强的能力，现在很多小样本的论文都存在元学习。即使有些论文没有使用元学习，如果能够把这种训练机制添加进去的话，很可能能够提高模型的性能。