论文阅读：《Revisiting Mid-Level Patterns for Distant-Domain Few-Shot Recognition》

本人终于来更新论文阅读啦！
老样子 还是小样本跨域论文 这篇针对的是远域了。

论文名称：
《Revisiting Mid-Level Patterns for Distant-Domain Few-Shot Recognition》
论文地址：https://arxiv.org/abs/2008.03128
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

1.强假设：Existing few-shot learning (FSL) methods usually assumeknown classes and novel classes are from the same domain (in-domain setting).
现有的小样本学习(FSL)方法通常假设已知的类和新的类来自同一领域(域内设置
2.现有工作：cross-domain FSL (CDFSL) is proposed very recently to transfer knowledge from general-domain known classes to special-domain novel classes. Existing CDFSL works mostly focus on transferring between close domains, while rarely consider transferring between distant domains, which is even more challenging.
最近提出了跨领域的FSL，将知识从一般领域的已知类转移到特殊领域的新类。
现有的CDFSL主要集中于在近域之间传输，而很少考虑在遥远域之间传输，这更具挑战性。

Work

In all, our contributions can be summarized as follows:
• To solve distant-domain FSL, we revisit mid-level features to explore their transferability and discriminability,which is seldom studied in the main stream FSL work.
• To enhance the discriminability of mid-level features, we propose a residual-prediction task to explore the unique character of each class.
• Our method is effective for both distant-domain FSL and in-domain FSL with different types of descriptive
features. Experiments under both settings on six public datasets, including two challenging medical datasets,demonstrate state-of-the-art performance.
为了解决远域FSL，我们重新访问了中层特征来探索其可转移性和可识别性，这在主流FSL工作中很少被研究。
为了提高中层特征的可别性，我们提出了一个剩余预测任务来探索每个类的独特特征。
我们的方法对具有不同类型描述性特征的远域FSL和域内FSL都很有效。
在六个公共数据集上进行的实验，包括两个具有挑战性的医学数据集，证明了最先进的性能

Model

先解释几个概念
关于中层特征和高级特征

如上图所示，
来自一般领域的高级模式特征如翅膀和四肢，中层模式特征如圆圈和点
作者认为：
Features from shallower (mid-level) layers are more transferable than those from deeper layers
来自较浅（中层）层的特征比来自较深层层的特征更容易转移
这边隐藏了中间假设：
假设每个类都有其独特的特性，这不能被其他类的高级模式很容易地描述，而中层模式可以更有效地描述它。
直观地说，用狗的知识来描述斑马，很容易把脚、尾巴等高水平的模式转移到斑马身上。但对于斑马独特的特征，即斑马条纹来说，很难将高水平模式特征进行转移，这时候就需要使用中间特征。
为了提高中层特征的可识别性，作者提出了一个已知类训练的剩余预测任务，该任务鼓励中层特征学习每个样本中的判别信息

整个模型如下所示：

图顶部：给定一个来自已知类的训练样本，除了将其分类为N个已知类外，我们还基于其他N-1已知类的分段原型进行高级特征重构
具体地说，我们首先提取已知类样本的特征即经过CNN获取样本特征，主干网络将样本分类为N个已知类进行训练。然后，对于每个训练样本，我们使用其他N-1已知类的高级模式特征来重构提取的特征，并通过从提取的特征中去除重构的特征来获得残余特征。这种残余特征包含了这个样本的鉴别信息，适合于中层特征学习的信息。最后，我们使用中层特征来预测这些被区分的残余特征，这鼓励了中层特征是被区分的。

High-level Reconstruction

重建是基于沿通道轴分割的特征和原型。为了便于理解，我们从不应用分割的情况开始。
具体地说，我们使用提取的特征f(x)来应用最近邻搜索，并查询最高余弦相似的原型形成邻近的原型集,然后，重建特征计算为所有查询原型的平均值
Then, the reconstructed feature is calculated as the mean of all queried prototypes as R(x, W)

Residual Calculation
By removing the high-level patterns from f(x), we will get a discriminative residual feature which contains the discriminative information suitable for mid-level features to learn.

直观上说，剩余项和高级重构项不应该相互代表，这意味着它们应该是正交的。
残余特征为提取特征与重建特征之差进行计算。来自多个中层的中层特征将被动态加权，以线性预测剩余项)
Residual Prediction
To select the mid-layer automatically and dynamically, we design the
mid-layer-weighting module.
As the dimension of each mid-layer may not be identical,we need a layer-wise transformation to transform the mid-layer to predict the residual term.

我们想要的是中级特征而不是另一个高级特征，所以我们应该避免在预测过程中学习另一个高级特征。由于深度网络的非线性可以将低层次特征逐层转换为高级特征，我们使用线性变换层来完成工作
总的Loss：

Experiments

miniImageNet是所有远域评估的已知类，我们计算了所有具有miniImageNet已知类的新类之间的PAD

The pencil paintings is the third distant domain. Unsurprisingly that it is closer than two medical datasets as it shares semantically similar classes with known classes of miniImageNet, but is much more distant than CUB. Therefore, we use this dataset for evaluation. The two medical datasets are the furtherest datasets, with the Malaria cell dataset reaches the upper bound of PAD (2.0), so these two datasets are also selected

总的来说就是将图像分类的方法推广到了小样本跨距离域分类上（借助了中间特征）

---

ENding~
五月要加油哦小李！