MAML（Model-Agnostic Meta-Learning）

知乎解释 https://zhuanlan.zhihu.com/p/57864886

摘要

我们提出了模型未知的元学习模型（模型未知就是说是一种框架，可以兼容任何的模型），可以用于任何的梯度下降模型，处理分类，回归、强化学习等不同的学习问题。这个元学习是先在不同的学习任务上训练模型，以使得其可以用很小的训练数据去解决新的学习任务。这里主要就是用于解决数据不足情况下的学习问题，在已经训练好的模型下只要用新的任务的训练数据进行很小数量的梯度下降步骤，就可以在新任务上获得很好的泛化性能。对新任务的学习其实也就像是微调（fine tune）

MAML(Model_agnostic meta -learning)

元学习问题建立

我们考虑一个模型：$f：x\to a$，每个任务我们把它表示成通用符号$\mathcal{T}$
其中：

• $\mathcal{L}$:损失函数，
• $q(x_1)$：初始观察值的分布；
• $q(x_{t+1}|x_t,a_t)$：转移概率分布
• H ：episode length 集长度，如果有监督学习H=1；即损失函数只有$\mathcal{T}(x_1,a_1)$
• 这个模型可以产生长为H的样本，通过在t时刻取出输出$a_t$。损失：$\mathcal{L}(x_1,a_1,...,x_H.a_H)\to \mathbb{R}$提供了一个指定任务的负反馈。

N-way K-shot

这种是few-shot learning的常见的实验设置，few-shot learning指利用很少的被标记数据训练数学模型的过程。N-way表示有N个类别，K-shot表示每个类别下有K个被标记的数据。

与模型无关的元学习算法

首先得先有一个数据的的分布$p(\mathcal{T})$，设置好学习的超参数的大小，然后我们。。。