论文阅读：《Cross-domain few-shot classification via learned feature-wise transformation》

hello~好久不见！小李回归论文阅读啦！
虽然是之前拖延的论文……才发现放假这么久都没有静下心看几篇
（留下不学无术的眼泪）
言归正传，今天记录的是关于小样本域适应的一篇2020的文章。

论文名称：
《Cross-domain few-shot classification via learned feature-wise transformation》
论文地址：https://arxiv.org/abs/2001.08735
论文阅读参考：
https://zhuanlan.zhihu.com/p/257805250?utm_source=wechat_session
https://zhuanlan.zhihu.com/p/112634464
https://blog.csdn.net/qq_35896136/article/details/107432922
论文代码：https://github.com/hytseng0509/CrossDomainFewShot
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

Existing metric-based few-shot classification algorithms predict categories by comparing the feature embeddings of query images with those from a few labeled images (support examples) using a learned metric function.While promising performance has been demonstrated, these methods often fail to generalize to unseen domains due to large discrepancy of the feature distribution across domains.
从不同域的任务中提取的图像特征分布存在显著差异。
因此，在训练阶段，度量函数可能会过度拟合仅从可见域编码的特征分布，而不能推广到未可见域。故，作者指出现有的metric-based few-shot classification算法即基于度量学习的小样本算法,由于跨域的特征分布的巨大差异，在unseen domains上不能表现出很好的泛化性。

（注：基于度量的方法：给定一个输入任务，该任务由来自新类的少量标记图像(支持集)和未标记图像(查询集)组成，编码器首先提取图像特征。然后，该度量函数将标记图像和未标记图像的特征作为输入，并预测查询图像的类别。）

Related work

1.Few-shot classification:
这一部分我就不详细叙述了。之前与小样本相关的论文阅读都有提及。可参考原文或者前面的文章。
2.Domain adaptation:
Domain adaptation methods aim to reduce the domain shift between >the source and target domains.
域适应方法旨在减少源域和目标域之间的域偏移。
Since the emergence of domain adversarial neural networks (DANN) numerous frameworks have been proposed to apply adversarial training to align the source and target distributions on the feature-level
自域对抗性神经网络(DANN)的出现以来，人们提出了许多框架来应用对抗性训练来调整特征级别上的源分布和目标分布
Most domain frameworks, however, target at adapting knowledge of the same category learned from the source to target domain and thus are less effective to handle novel category as in the few-shot classification scenarios
然而，大多数领域框架的目标是将从源领域学到的同一类别的知识适应于目标领域，因此不太能像在小样本分类场景中那样有效地处理新的类别。
3.Domain generalization：
In contrast to the domain adaptation frameworks, domain generalization methods aim at generalizing from a set of seen domains to the unseen domain without accessing instances from the unseen domain during the training stage
与域自适应框架相比，域泛化方法的目的是将从一组可见域泛化到未见域，而不在训练阶段从未见域访问实例。
4.Learning-based data augmentation:
Data augmentation methods are designed to increase the diversity of data for the training process.
5.Conditional normalization/6.Regularization for neural networks

Work

1.We propose to use feature-wise transformation layers to simulate various image feature distributions extracted from the tasks in different domains.
2.We develop a learning-to-learn method to optimize the hyper-parameters of the feature wise transformation layers
总的来说，文章提出Feature-wise Transformation层，在训练阶段模拟不同domains下的特征分布来augment图像特征。进一步应用一个learning-to-learn的方法来更新该层里的超参数。
接下来具体说说模型。

Model

如上图所示，为我们提出的模型，我们将feature-wise transformation layers（FT特征变换层） 插入到Feature Encoder 的BN层之后，将特征变换层集成到特征编码器中。
即在训练阶段使用基于特征的变换层通过仿射变换来增强图像特征，以模拟不同域下的各种特征分布，从而提高测试阶段度量函数的泛化能力。
About feature-wise transformation layers(以下简称FT）：
图（a）：
给定Feature Encoder的一个 大小的中间层特征激活图Z ，首先从高斯分布中采样scaling项 和

调整后的激活值zˆ,如公式2所示。

然而，基于特征的变换层的超参数可能需要细致的手工调整，因为很难建模图像特征分布在不同领域的复杂变化。基于此，我们开发了一个learning-to-learn算法来优化所提出的特征转换层。主要目的是优化功能上的转换层，以便在使用所看到的领域训练模型之后，模型可以在未看到的领域上工作。

主要有两次迭代更新，第一次更新利用已知域数据对度量模型参数的更新，也既是特征编码器和模型函数的参数 ,第二次更新是利用未知域对变换层参数的更新，也既是

Experiment

数据集：
minimagenet、CUB、Cars、Places和Plantae。其中针对mini ImageNet和CUB数据集沿用Ravi&Larochelle(2017)和Hilliard(2018)等人划分式。对于其他数据集，通过随机拆分类来手动处理数据集。下表总结了每个数据集的训练、验证和测试类别的数量。

实验设置：
5-way 1-Shot / 5-way 5-Shot Backbone：ResNet-10
实验结果：
1.采用常规跨域实验设置：
我们在mini-ImageNet上训练模型，并在其余数据集上评估训练后的模型，FT表明使用提出的feature-wise transformation layers特征转换层来训练模型。

2.采用leave one out设置：
从CUB、Cars、Places和Plantae中选择一个作为unseen domain进行评估，mini-ImageNet和其余的域作为训练模型的seen domain。FT和LFT分别表示为应用预训练的特征提取器和使用所提出的learn to learn feature-wise transformation层

3.消融实验

总的来说，结合大量实验验证了提出的feature-wise transformation（FT）层适用于不同的基于度量的小样本算法，并且在基线上显示出一致的改进。

---

Ending~
接下来加油鸭！