论文阅读《A Closer Look at Few-shot Classification》

耽搁了很久没有再写
这段时间身心有点疲惫 情绪不是很健康 以至于人的状态也不好
这篇文是上周就想写了…拖到了现在

论文名称：A Closer Look at Few-shot Classification
论文地址:https://arxiv.org/abs/1904.04232
论文阅读参考：https://zhuanlan.zhihu.com/p/64672817
https://blog.csdn.net/qq_36104364/article/details/107715449
论文代码：https://github.com/wyharveychen/CloserLookFewShot
论文代码解读参考：http://www.qishunwang.net/news_show_3442.aspx
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

本文开头先引入和肯定了小样本学习的发展
The problem of learning to generalize to unseen classes during training, known as few-shot classification, has attracted considerable attention
局限性（Limitations）：
1.First, the discrepancy of the implementation details among multiple few-shot learning algorithms obscures the relative performance gain。The performance of baseline approaches can also be significantly under-estimated (e.g.,training without data augmentation)
2.Second, while the current evaluation focuses on recognizing novel class with limited training examples, these novel classes are sampled from the same dataset. The lack of domain shift between the base and novel classes makes the evaluation scenarios unrealistic
首先，小样本学习算法在实现细节上的差异掩盖了相对性能增益。一些基线的方法被大大低估。（也就是方法没有在统一的框架下进行比较从而真正对比出性能）
第二，虽然目前的评估侧重于识别训练示例有限的新类，但这些新类是从同一数据集采样的。
基础类和新类之间缺乏领域转移，使得评估场景不现实。（也就是域适应的一个问题）

Our Work

本文并没有提出新的小样本学习算法，而是对目前主流的小样本学习算法做了更加深入的比较和研究，提出了自己的一些观点。主要的工作如下
1.First, we conduct consistent comparative experiments to compare several representative few-shot classification methods on common ground.Our results show that using a deep backbone shrinks the performance gap between different methods in the setting of limited domain differences between base and novel classes
2.Second, by replacing the linear classifier with a distance-based classifier as used in Gidaris & Komodakis (2018); Qi et al. (2018), the baseline method is surprisingly competitive to current state-of-art meta-learning algorithms.
3.Third, we introduce a practical evaluation setting where there exists domain shift between base and novel classes
1.对集中已有的方法做了比较，对基础模型的能力对这些方法的性能的影响做了实验，**结果显示，在领域差异比较小的情况下（如CUB这种细粒度分类任务）,随着基础即特征提取神经网络的能力的提高（从四层的CNN提升到resnet），这些方法之间的性能差异越来越小；相反地，在领域差异比较大的情况下（如miniImageNet），随着基础即特征提取神经网络的能力的提高，这些方法的性能差异越来越大。
2.文章建立了两个普通简单的baseline，发现在CUB和miniImageNet上的性能足以和当前最先进的基于元学习的方法媲美。
3.基于（1）的结果和一些已有的研究，作者特别强调了小样本学习任务中的领域自适应问题，并且设计实验显示当前这些state-of-the-art的小样本学习方法在领域漂移的情况下表现相当不好，没有baseline表现好，提醒人们对这个方向多关注。

Model

本文的第一个训练模型如上所示，即实验中建立的Baseline and Baseline++的方法。
这两个方法都是采用特征提取器+分类器的结构，不同的是baseline++中使用cosin距离替换了线性分类器（baseline）,具体是计算权重矩阵W中的每一向量 与特征 的cosin距离得到相似度得分。
（注：这样做的目的在于减少类内变化，即减少类内方差）
Baseline的训练过程（就是常规的源域训练+目标域微调）

四种网络模型：

Experiment

We address the few-shot classification problem under three scenarios:
1)generic object recognition, 2) fine-grained image classification, and 3) cross-domain adaptation
我们解决了三种场景下的小样本分类问题：1)通用对象识别，2)细粒度图像分类，3)跨域自适应
For object recognition, we use the mini-ImageNet dataset commonly used in evaluating few-shot
classification algorithms.
For fine-grained classification, we use CUB-200-2011 dataset
For the cross-domain scenario (mini-ImageNet →CUB), we use mini-ImageNet as our base class and the 50 validation and 50 novel class from CUB

Result
使用标准设置进行评估
We validate our few-shot classification implementation on the mini-ImageNet dataset using a Conv-4 backbone

如上图中的结果显示，Baseline++方法的性能被严重的低估了，在统一的条件下，其性能是足以和许多元学习算法相媲美的，甚至在CUB-200这种类别内部差异较小的数据集上，其表现是优于元学习中的SOTA算法的(即在分类时使用了cos距离的分类器减少了类内的差异性）。从实验中作者也发现，如果采用浅层的网络结构（如4-Conv），降低数据集类别内部的差异（intra-class variation）会能够有效提高分类算法的性能。然后，作者又研究了不同的Backbone对于算法性能的影响，作者分别尝试了4-Conv，6-Conv, ResNet-10, ResNet-18, ResNet-34等结构，结果如下图所示。结果显示，在领域差异比较小的情况下,随着基础即特征提取神经网络的能力的提高（从四层的CNN提升到resnet），这些方法之间的性能差异越来越小；相反地，在领域差异比较大的情况下，随着基础即特征提取神经网络的能力的提高，这些方法的性能差异越来越大。

关于域适应的问题
state-of-the-art的小样本学习方法在域适应上的情况下表现没有baseline表现好
作者认为随着领域差异的增大，基于少量新类别样本的自适应能力变得更加重要。在这一方面，Baseline方法通过在新的数据集上直接训练一个新的线性分类器，能够更好地适应新样本，所以表现地更好。
（Baseline只是基于少数给定的新类数据替换和训练一个新的分类器，这使得它能够快速适应新的分类器 类，并且不受源域和目标域之间域移位的影响,Baseline的方法也优于Baseline++方法，可能是因为额外减少类内变异会损害适应性）

总结

本篇文章并没有提出新的模型，但是提出了几个大家容易忽略的问题，并进行了一系列的实验，有点类似于复现方法，对小样本分类这一问题有了更加深刻的认识，也指出了一些存在的问题，因此是比较有价值的。比较重要的是，文章强调了特征提取网络的能力、数据集的差异性以及领域自适应问题对小样本学习任务的影响，特别强调了应该关注小样本学习中的领域自适应问题。

---

十月没有很开心
但慢慢学会自己解压吧
接下来希望顺顺利利 健健康康！！！