元学习论文解读 | XtarNet: Learning to Extract Task-Adaptive Representation for Incremental FSL, ICML 2020

motivation

本文关注的是增量小样本学习问题，希望从新的经验中获取新的知识，并将其与从先前经验中获得的先前知识相融合。

contribution

本文提出了XtarNet，它学习提取任务自适应表示（Task-Adaptive Representation, TAR）。给定一个新任务，从元训练模块中提取的新特征与从预训练模型中获得的基本特征混合作为TAR，那么TAR就包含对新类别和基本类别进行分类的有效信息。利用TAR对base & novel classifiers进行调制以适应给定的任务。

核心内容

overall framework

 Pretrain是在上进行的，support set及query set从和上采样获得。

Meta-CNN

记为样本x输入到预训练网络 的中间层输出，将其输入到MetaCNN中以获得样本的high-level feature ，和 分别称为base feature和novel feature。

MergeNet for Combining Base and Novel Features

MergeNet用于获取任务特定的混合权重向量：

  

   

基于权重将预训练网络输出的基本特征和MetaCNN输出的新特征进行Concat，并计算类的原型：

 将该任务所有N个新类的原型计算和的平均，作为TAR：

TconNet for conditioning classifiers

将TAR输入到两个全连接层获得调制参数，对预训练得到的分类器进行调制获得任务特定的base classifiers：

下面讨论怎样获得任务特定的novel classifiers。

stage1: Preparing novel classifier：考虑采用已有的三种方式，实验部分进行了对比

1. Imprint：直接将feature averages作为该类的分类器

2. LwoF：设计了一个元训练获得的基于 attention的权重生成器生成分类器

3. TapNet：元学习类的参考向量 ，存在投影空间M，使得参考向量与类平均特征向量之间的距离投影到M接近于0：

    

 

stage2: Adaptation of novel classifier（计算参考向量）

计算平均特征与base classifiers之间的相关向量：

   

结合相关向量和base classifiers对上面获得的初始novel classifiers进行修正：

 这里， 。

计算得到投影M之后，quey投影后的特征与分类器权重之间的距离将用于计算分类标签：

 

 

总结

这篇文章中TAR的获得是拼接样本的平均基本特征和新的特征（Fast and Flexible Multi-Task Classification Using Conditional Neural Adaptive Processes，NeurIPS2019中类似），然后利用TAR对分类器进行调制，相比之下MMAML是添加了一个额外的encoder用于调制backbone和classifier。