Meta-Learning with Latent Embedding Optimization (LEO)论文阅读

1. 论文阅读

Meta-Learning with Latent Embedding Optimization该文是DeepMind提出的一种meta-learning算法，该算法是基于Chelsea Finn的MAML方法建立的，主要思想是：直接在低维的表示$z$上执行MAML而不是在网络高维参数$\theta$上执行MAML。

2. 模型及算法

如图所示，假设执行N-way K-shot的任务，encoder和relation net的输出是一个$2N$个类别独立的高斯分布的参数$z\in {\mathbb{R}}^{n_z}$，即

Decoder是一个随机参数生成器，输出的是分类器参数$w_n$，用于对输入$x$做预测。

训练过程

1. 首先在meta-training set预训练一个28层的WRN-28-10的网络，然后取前21层，并接上global average pooling layer。给定一张图片，输出特征$x\in {\mathbb{R}}^{640}$，上图的$D^{tr}$, $D^{val}$都是预处理得到的640维特征。
2. 内循环：计算在support set上的损失，并只更新z而不是在模型的所有参数上，该过程重复多步。该步骤的目的为在线自适应。
   
3. 外循环：利用上一步内循环得到的分类器参数，计算在query set上的损失，用于更新网络encoder, relation net, decoder。
   
   

3. 实验结果

从实验结果可以看出：

1. 单独使用了MAML的方法Meta-SGD的效果最差，而使用了Conditional generator only的效果相比单独使用MAML的提升很大，已经接近LEO了，这证明了参数生成方法是这个算法中是最有效的部分。
2. 加入了MAML，也就是有fine-tuning的算法，相比没有使用的也有一定的提升。但是，通过对比LEO(no fine-tuning)和LEO(ours)，可以发现fine-tuning对结果的影响并不显著。
3. 通过对比deterministic及LEO(ours)的结果，似乎表明引入的随机性并不重要。

4. 总结

通过结果发现，最有效的部分似乎不在于低维表示空间的adaptation，也不在于模型引入的随机性，这与论文大篇幅强调的似乎有所出入，总的来说，虽然模型比较臃肿，但该算法本身是比较创新的，也实现了state-of-the-art，是一篇值得研究的论文。