元学习论文阅读 | CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification, CVPR2022

1 motivation

FEAT(CVPR2020)中提出了embedding adaptation这个概念，具体来说就是对support set的样本利用transformer等方式实现信息聚合，获取这些样本更好的特征。不足的地方是没有利用query信息。

2 contribution

1）为了改进基于模型的嵌入自适应，本文建议通过self attention对支持集和查询集的实例的嵌入/表示进行微调，以获取更利于分类的特征。

2）实验效果非常好，比最先进的方法高出3%∼5%。

3 Instance embedding adaptation

 

 为了共同适应（co-adapt）支持和查询的嵌入 和 ，本文引入一个额外的步骤，使用self-attention对得到的初始嵌入进一步适应。基本思想是通过只考虑区分性特征相似性，可以在 和中找到需要关注的相关特征，从而重新加权特征。

3.1 Self attention

Attention function:

 

Multi-head Attention Block (MAB)：

 

其中，γ 是ReLU函数。

3.2 Cross-adaptation with MAB

考虑从Support-query和query-support两个层面对实例的表示进行微调。具体地说，为了改进support特征，即query到support，使用query和support特征之间的注意分数来聚合初始support特征，生成与初始特征相关的支持原型，反之亦然，用于support到query，以生成改进初始查询特征的query特征。

对支持集和查询集的嵌入进行联合适应的过程：

 

MAB的具体实现：

 

 

根据适应后的支持集嵌入计算原型：

 

根据上面得到的原型和适应后的查询集嵌入对query进行分类：

 4 实验部分

相比于FEAT效果提升很明显：

 5 总结

本文主要是参考FEAT的方法进行了进一步的扩展，利用了query的信息，并且对query同样进行了信息聚合来微调表示，取得的效果非常好。而且，在元学习任务中分成了支持集和查询集两个部分，对query的利用应该是合理的，这和用testing的数据不太一样。