元学习调研

元学习小样本学习论文总结200篇至 [email protected]申请

浅述小样本学习以及元学习

如果机器也能拥有这种学习能力的话，面对样本量较少的问题时，便可以快速地学习，这便是元学习（meta learning），也可以称为元学习。

在此之后，人们发现通过元学习能够很好地实现小样本分类任务，因此越来越多的人将目光投在了元学习上。总体来说，通过元学习的方法实现小样本分类大体上有三种：

• 基于度量的元学习
• 基于模型的元学习
• 基于优化的元学习

基于模型的元学习

近年来，小样本学习分类发展迅速，面对众多的分类任务，都可以通过训练一个模型来达到任务要求。其中元学习的方法较多，为了最大的适用性，元学习的机制应该是任务的通用性，即面对不同的任务，不需要构建不同的模型，用同样的一套学习算法即可解决多种不同的任务。定义一个模型的可学习参数θ，面对不同的任务，可以通过改变参数θ的值来解决相应的任务。而参数θ的值可以通过元学习器去学习，在面对不同任务的时候，根据损失函数通过梯度下降的方法不断地更新θ值，使这个模型不断向能解决这个任务的模型靠近，当θ值最终收敛时，我们认为元学习器学习到了一个较好的参数θ，让模型自适应地解决相应任务。这个算法是十分高效地，因为它没有为学习器引入其他的参数，并且训练学习器的策略使用的是已知的优化过程（如梯度下降等）而不是从头开始构建一个。

在此推荐两篇有关论文：

• 2017-《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》
• 2018 - arXiv - 《Task-Agnostic Meta-Learning for Few-shotLearning》

后一篇是在前一篇的基础上进行的相关扩展。

 

基于优化的元学习

在样本量较少的任务中，通常的一些学习器会因为样本较少出现过拟合的现象，同时在训练过程中，为了达到一个较好的效果，学习器通常会训练迭代百万甚至千万次才能够收敛。这些问题不仅影响了学习器的性能，也影响了效率。我们在元学习器中采用了LSTM网络，使用任务中少量的已标记样本，通过元学习器来优化更新学习器的初始化参数，让学习器在面对相应任务的时候，能够仅用少量的样本，同时较快收敛，达到快速学习解决任务的目的。

（怎么在元学习中采用LSTM网络）

在此推荐一篇论文

2017-ICLR-《Optimization as a model for few-shot learning》（论文训练了一个长短期记忆网络（LSTM））

 

最前沿：百家争鸣的Meta Learning/Learning to learn

• 元学习文章整理

 

知乎：meta learning