【论文笔记】Rethinking Few-Shot Image Classification: A Good Embedding is All You Need?

一、写在前面

本文是 MIT CSAIL & Google Research 在2020年关于 Few-Shot Learning的又一篇力作，受 ICLR 2020 的经典文章 A baseline for few-shot image classification 启发，提出了如下假设：

Embeddings are the most critical factor to the performance of few-shot learning/meta learning algorithms; better embeddings will lead to better few-shot testing performance (even with a simple linear classier)

二、主要内容

2.1 backgrounds

meta-learning 大致分为两个主要思路：

• Optimization-based methods
• Metric-based methods

few-shot classification tasks 也有两个思路：

• meta-learning 方法
• 学习好的表征 representation

2.2 related work

• Metric-based meta-learning
  • Siamese neural networks for one-shot image recognition（ICML 2015）
  • Matching networks for one shot learning （NIPS 2016）
  • Prototypical networks for few-shot learning （NIPS 2017）
  • ...
• Optimization-based meta-learning
  • Optimization as a model for few-shot learning (ICLR 2017)
  • MAML - Modelagnostic meta-learning for fast adaptation of deep networks. (ICML 2017)
  • ...
• Meta-learning datasets
  • Omniglot
  • Meta-dataset
  • mini-ImageNet
  • ...

2.3 motivation

Few-shot classification中一直有这样一个问题：meta-learning 和 representation-learning 哪个表现更好。最近的文章发现仅用常规的模型做 fine-tuning，就可以达到与最好的meta-learning方法差不多的效果。因此本文探索在Few-shot classification中如何学习好的 representation。

三、文章方法

3.1 key idea

正如题目所说，A Good Embedding is All You Need。本文提出一个简单的few-shot classification baseline，学习 good learned representations 可以干掉一众 meta-learning algorithms

3.2 methods

具体怎么学习 good learned representations ？

1. meta-training阶段，在组合训练集（可以理解为大规模数据集）上训练一个图像分类任务得到 embedding model，固定参数。

2. meta-testing 阶段，将所有的 support images 和 query images 输入至上一步训练好的embedding model 得到对应的 embeddings （与组合训练集可以不同分布）
3. 然后用support images embeddings 训练一个简单的线性模型 base learner

4. 最后将 query images embeddings 输入至线性模型中得到分类结果

   
   

• 值得注意的是，meta-testing 阶段中，每个task（个人理解是一组[support set, query set]）都对 base learner 初始化再重新学习。
• 此外，作者使用知识蒸馏（Knowledge distillation）得到了一个新的 embedding model ，获得了更好的效果 （2-3个点）

四、写在最后

这篇工作给 few-shot-classification打开了一个大门，验证了representation的重要性。此外，作者没有全盘否认meta-learning，只是说在 few-shot-classification任务中本文的方法比meta-learning好。