元学习（Meta-learning）

元学习大体分为两个阶段，训练阶段和测试阶段，训练样本中 的训练集称作支持集，训练样本中的测试集叫查询集（support set and query set）。测试任务和训练任务内容完全不同。

传统深度学习顺序：定义网络架构——初始化参数——通过自己选择的优化器更新参数——通过多次epoch更新最终得到网络输出。

元学习的目标是自动学习或者代替传统深度学习中的定义网络架构、初始化参数以及更新参数。

元学习中不同的代替方式就发明出不同的元学习算法。

元学习与机器学习的区别

机器学习和元学习的目的都是找一个Function，只是两个Function功能不同。

机器学习中的Function直接作用于特征和标签，是学习某个数据分布x到另一个分布Y的映射。

元学习学习的Function是用于寻找新的f，新的f才会应用于具体任务，是某个任务集合D到每个任务对应的最优函数f的映射，

与迁移学习的区别

元学习更偏重于任务和数据的双重采样，任务和数据一样是需要采样，学习到的F(x)可以帮助在未见过的任务f(x)里迅速建立mapping。更侧重学习常规学习任务中需要人为调的超参数，比如模型结构、度量方式和优化方式。更侧重如何从头开始学习一个模型

迁移学习是指从一个任务到其他任务的能力迁移，不太强调任务空间的概念。更侧重学习任务中需要学习的常规参数，比如神经网络的权重等。更侧重先pretrain再finetune这样的训练模式。

迁移学习和元学习都是从旧任务中学习如何高效地学会新任务。

元学习经典算法之一MAML（Model Agnostic Meta Learning )

学习目标：初始化参数。

MAML的损失是在任务训练之后的测试loss，pre-training是在没有经过训练的原有的基础上求loss