论文阅读《Domain-Adaptive Few-Shot Learning》

懒癌晚期 拖延了两周才来更新
是真的最近有点忙 忙着开题忙着期末考
但就是每天看着很忙很累 但又不知道做了啥 做了得到了什么
但还是要努力鸭！很多东西现在看不到 后面就会慢慢得到显现吧。

论文名称：《Domain-Adaptive Few-Shot Learning》
论文地址：https://www.aminer.cn/pub/5e7495c591e0111c7cee13bb/domain-adaptive-few-shot-learning
论文解读参考：https://blog.csdn.net/m0_37929824/article/details/105379668
论文代码参考：https://github.com/dingmyu/DAPN
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.
最近的论文阅读可能会写得简单笼统一点了。

Background

Existing few-shot learning (FSL) methods make the implicit assumption that the few target class samples are from the same domain as the source class samples. However, in practice this assumption is often invalid – the target classes could come from a different domain. This poses an additional challenge of domain adaptation (DA) with few training samples.
现有的小样本学习的（FSL）方法都做出了一个隐含的假设，即目标类样本与源类样本来自同一目标。也就是说，base class和novel(test) class来自同一个域（数据集）。但是实际上，这种假设通常在应用中会无效，因为的目标类可能来自不同的域。这给小样本的领域适应（DA带来了另一个挑战。也就引出了小样本学习中的域适应的问题。

先做一个概念的讲解

在上述这张图中，总共出现了四个任务，这边重点讲一下后面三个即域适应、小样本学习、域适应的小样本学习。
域适应：源域和目标域的特征空间、类别空间相同、但边缘分布不同。在图上可以理解为同一种狗，但是在目标域和源域上的图像风格不同。
小样本学习：测试中出现的目标域，源域中即训练中没有出现。
域适应的小样本：可以把上述两个概念结合起来，也就是说目标域和源域相比既要求是不同类又要求不同风格。这意味着从源类训练的视觉识别模型需要适应新的类和新的领域，而目标类的样本很少。

一些说明：
现有的UDA方法（无监督域适应方法）假定目标域和源域具有相同的标签空间，是针对跨域的分布对齐而设计的，因此它们本质上不适合FSL，因为目标类与源完全不同一个：无论是全局分布还是每个类的分布对齐方式，都会对类分离和模型区分性产生不利影响。

故，如何在保持源/目标按类别区分的同时实现DA的域分布对齐成为DA-FSL的关键。
注意：本文不是做简单的跨域数据集而是着眼于更大的领域变化（重在风格场景，如自然图像和卡通图像），之前的用在小样本的跨域数据集（miniImageNet →CUB），仅用于评估跨数据集的泛化，而不是开发新的跨域FSL方法

Work

Our contributions:
1.The DA-FSL problem is formally defined and tackled. For the first time, we address both the few-shot DA and few-shot recognition problems jointly in a unified framework.
2.We propose a novel adversarial learning method to learn feature representation which is not only domain-confused for domain adaptation but also domain-specific for class separation. Extensive experiments show that our model outperforms the state-of-the-art FSL and do�main adaptation models (as well as their na¨ıve combinations).
（1）DA-FSL问题已正式定义并解决。首次在一个统一的框架中同时解决了小样本的域适应和识别问题。 （2）提出了一种新颖的对抗性学习方法来学习特征表示，该方法不仅对于领域自适应而言是领域混淆的，而且对于类分离而言也是领域特定的。

Methodology
先上图

整个网络如上所示，大致可以分为三部分即小样本学习模块（原型网络）、域适应模块、多任务学习模块。

Prototypical Network

原型网络这边不具体介绍，感兴趣的可以去看一下原型网络最早提出的原文。
原型网络即采用的是原型的分类器，即为支持集中每个类别计算出一个原型（每个类别所有样本特征向量的平均值），然后根据查询样本的特征向量与各个类别原型之间的距离预测类别

每一个类的原型是支持集中的样本embedding的均值向量，其中Sc为支持集中每个类的样本

计算query instance和各个类原型间的距离，通过softmax得到分类概率分布

Domain Adversarial Adaptation Module

域适应模块主要目标是学习一种特征嵌入空间，在该特征嵌入空间中，源域和目标域的全局分布是对齐的，而特定于域的判别信息仍然保留。为此，我们选择在嵌入模块之前和之后强制执行域区分性和域对齐学习目标
具体来说，我们输入图像经过resnet网络提取特征之后进入embeding模块,这部分包含了一个自编码器和注意力子模块(为了使¯f尽可能地与域混淆，我们在其上强加了一个由完全连接（FC）层组成的注意力子模块)。
将自编码器和注意子模块组合在一起，我们得到嵌入模块的最终输出为
Domain Adaptive Loss

注意，域自适应/混淆损失对于弥合源域和目标之间的域差距很有用，但是它也具有在每个类级别过度对齐的有害的副作用，这会损害FSL性能。为了缓解此问题，我们引入了域区分损失，以使每个域内的每个类分布彼此不同。

Adaptive Re-weighting Module

本文所提出的模型包含多个目标，包括原型网络中两个loss和域适应中的两个loss，故可以视为多任务学习。因此，我们采用一种自适应多任务损失函数，该函数基于最大化具有任务相关不确定性的高斯似然性，以便自动确定目标的权重。

Experiments

Datasets and Settings
(1) mini ImageNet(2) tieredImageNet
(3) DomainNet:为了为DA-FSL生成新的现实数据集，我们利用了现有的多源域适应数据集，这是迄今为止最大的UDA数据集。 Cs有275个类别（每个类别平均516张图像），Cd有55个类别（每个类别仅k张图像），Ct有70个类别。在这项工作中，我们将DomainNet中的真实照片域作为源域，并将草图域作为目标域。每个图像缩放到84×84。

Baselines:
(1) FSL Baselines
(2) UDA Baselines
(3) UDA+FSL Baselines
Results:

在所有数据集上，我们的DAPN都能够胜任最新的FSL和UDA方法。
我们的DAPN模型显然也比两个UDA + FSL基线表现更好，这表明UDA和FSL的简单组合不如我们专门为DA-FSL设计的DAPN模型有效。
当与单纯的最近邻分类器（用于FSL）结合使用时，现有的UDA方法的性能与任何现有的FSL方法一样好。这表明解决域适应问题是我们DA-FSL设置的关键。

Ablation Study on Our Full Model

DAA –域对抗适配模块与朴素的最近邻居分类器结合在一起；
FSL + DAA –将FSL和DAA模块合并为DA FSL，而无需使用自适应重加权。由于我们的完整模型使用自适应重加权（ARW）结合了两个主要模块，因此可以表示为完整或FSL + DAA + ARW。
可以看出：（1）当使用更多的模块来解决DA-FSL问题时，性能不断提高，证明了每个模块的贡献。 （2）DAA对经典FSL的改进表明，域自适应模块对于DA-FSL设置非常重要，即使使用简单的最近邻分类器，它也可以很好地执行。 （3）ARW模块明显改善了性能，验证了其在确定多重损失权重方面的有效性。

总结

在这项工作中，我们提出了一个新的小样本学习的方法，称为DA-FSL（域适应的小样本学习）。 为了同时学习几个小样本的新类的分类器，并弥合域间隙，我们提出了一种新的DAPN模型，在统一的框架内整合原型度量学习和域自适应。 在DAPN中嵌入领域自适应特征学习之前，显式地增强每类的源/目标分离，减轻了域对齐对FSL的负面影响。大量实验表明，DAPN优于最先进的FSL和DA模型

---

Ending!
干巴爹
所以一个小时不到能更新的东西
为啥要拖两周！