「干货」谷歌大脑：元学习最新进展与挑战（40 PPT下载）

https://www.toutiao.com/a6651792282443842055/

 

2019-01-29 13:51:18

 

 

【新智元导读】Hugo Larochelle是谷歌大脑的研究员、深度学习领域的专家。他在最近的演讲中讨论了小样本学习这个主题，概述了这个领域的一些最新进展，存在的挑战以及研究机会。

深度学习的成功部分是由于大量有标记数据的可用性。然而，即使在大数据背景下的今天，想获取具有大量优质的、标签正确的数据的数据集，仍是一个难题。

近年小样本学习(Few-shot Learning)的发展，旨在解决这个问题。小样本学习属于迁移学习的一种。顾名思义，小样本学习是一种能够让深度学习（或者任何机器学习算法）通过更少的样本学习，而不像传统的那样使用大量样本的技术。

Hugo Larochelle是谷歌大脑的研究员，深度学习领域的专家。他在最近的一个workshop中，讨论了元学习(Meta-learning)这个主题。元学习是一个非常有前途的框架，用于解决从少量数据进行泛化的问题，即所谓的小样本学习。

在元学习中，我们的模型本身就是一种学习算法：它将输入作为训练集，并输出一个分类器。对于 few-shot learning，直接训练产生的分类器具有良好的泛化性能，适用于只有非常少的标记数据的问题。

在这个workshop中，Hugo Larochelle概述了最近这个主题上取得的一些最新进展，并讨论了仍然存在的挑战和研究机会。

以下是Hugo Larochelle讲座的PPT，文末附下载链接。

内容概要

元学习(Meta-learning)

选择一种Meta-learning

定义meta-learner的两种方法：

从已知的学习算法得到启发

• kNN/kernel machine: Matching networks (Vinyals et al. 2016)
• 高斯分类器：Prototypical Networks (Snell et al. 2017)
• 梯度下降法：(Ravi & Larochelle, 2017) , MAML (Finn et al. 2017)

从黑盒神经网络推导

• SNAIL (Mishra et al. 2018)

存在的挑战：

超越有监督分类

• 无监督学习、结构化输出、互动学习

超越Mini-ImageNet

• 对问题/数据集的分布给出一个现实的定义

Meta-Dataset

小结：

• Meta-training 的分布可以产生很大的不同(至少对于目前的方法而言)
• 使用“常规训练”作为初始化会产生很大的不同
• 需要调整MAML以使其更具鲁棒

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

PPT下载：

http://metalearning.ml/2018/slides/meta_learning_2018_Larochelle.