Meta-learning with latent embedding optimization【论文笔记】

论文作者的代码(基于tensorflow)

中文摘要

基于梯度的元学习技术既广泛适用，又能熟练地解决具有挑战性的少样本学习和快速适应问题。 然而，当在极低数据体系中的高维参数空间上操作时，它们具有实际困难。 我们表明，通过学习模型参数的数据依赖潜在生成表示，并在这个低维潜在空间中执行基于梯度的元学习，可以绕过这些限制。 由此产生的方法，潜在嵌入优化（LEO），将基于梯度的自适应过程与模型参数的基础高维空间分离。 我们的评估表明，LEO可以在竞争性的miniImageNet和tieredImageNet轻量级分类任务上实现最先进的性能。 进一步分析表明，LEO能够捕获数据中的不确定性，并且可以通过在潜在空间中进行优化来更有效地执行适应。

解决的问题

基于优化的元学习方法旨在找到一组模型参数，这些参数可以通过几个梯度下降步骤以适应各个任务。然而，仅使用少量样本（通常为1或5）来计算高维参数空间中的梯度可能使得泛化变得困难；尤其是任务无关（Task-invariant）的参数作为起点的情况下，使用少量样本计算梯度来调整参数以适应特定的任务(Task-specific)更为困难。

解决思想

网络框图：

编码器和Relation Net将数据映射到latent Embedding space(表中的z),然后对z进行解码进行解码得到网络参数$\theta$,与MAML不同的是，此论文的元学习操作仅应用与z.

网络工作过程

编码器和Relation Network将第n类的数据映射到均值为${\mu }_n^e$,方差为${\sigma }_n^e$的正态分布：$${\mu }_n^e,{\sigma }_n^e=\frac{1}{N{K}^2}\sum _{K_n=1}^K\sum _{m=1}^N\sum _{K_m=1}^K{g}_{{\varphi }_r}(g_{{\varphi }_e}(X_n^{k_n}),g_{{\varphi }_r}(g_{{\varphi }_e}(X_m^{k_m}))$$ $$z_n\sim q(z_n|D_n^{tr})=\mathcal{N}({\mu }_n^e,diag({{\sigma }_n^e}^2))(3)$$解码器将z进行解码，得到类别相关的权重：
$${\mu }_n^d,{\sigma }_n^d=g_{{\varphi }_d}(z_n)$$ $$w_n\sim p(w|z_n)=\mathcal{N}({\mu }_n^d,diag({{\sigma }_n^d}^2))(4)$$得到网络的权重之后，即可计算出任务Ti的loss:
$${\mathcal{L}}_{T_i}^{tr}(f_{{\theta }_i})=\sum _{(x,y)\in D^{tr}}[-w_y\cdot x+log(\sum _{j=1}^N{e}^{w_j\cdot x})](5)$$至此，到达meta-training 阶段：
$$\underset{{\varphi }_e,{\varphi }_r,{\varphi }_d}{\min }\sum _{T_i\sim p(T)}[{\mathcal{L}}_{T_i}^{val}(f_{{\theta }_i^{{}^{\prime }}})+\beta D_{KL}(q(z_n|D_n^{tr})||p(z_n))+\gamma ||stopgrad(z_n^{{}^{\prime }})-z_n|{|}_2^2]+R(6)$$ $$R={\lambda }_1(||{\varphi }_e|{|}_2^2+||{\varphi }_r|{|}_2^2+||{\varphi }_d|{|}_2^2)+{\lambda }_2||{\mathcal{C}}_d-\mathcal{I}|{|}_2$$ where p(z)$\sim \mathcal{N}(0,1)$,公式(6)中第二项为带有权重的KL散度，其鼓励$q(z_n|D_n^{tr})$服从正太分布；(6)中的第三项鼓励编码器和关系网输出接近适配代码的参数初始化，从而尽可能减少自适应过程的负荷。

实验结果

---