【跨域小样本】Cross-Domain Learned Feature-wise Transformation

原文链接：https://mp.weixin.qq.com/s/5F4OB9ghpplO637KWcxT1Q

​1. 介绍

论文地址：

Cross-Domain Few-Shot Classification via Learned Feature-wise Transformation

https://arxiv.org/abs/2001.08735

参考代码：

https://github.com/hytseng0509/CrossDomainFewShot

针对问题：跨域小样本学习、特征的等变和不变性增强

    由于不同领域的数据特征分布具有差异性，因此少样本分类算法对于之前为见过的领域数据效果不好。

    基于度量的方法通常包含两个部分：特征编码器和度量函数。通常的方法对于训练集和测试集都是在同意领域的数据，比如都是miniImageNet中的数据，因此他们的数据分布都差不多。但是我们如果想测试其他领域的数据，比如CUB数据，因为数据分布差距较大，因此效果也较差。

    如上图所示，寻来拿阶段用的是miniImageNet中的一部分，在miniImageNet中另一部分测试时，因为他们的数据分布差不多，每类之间的差距都较大，所以效果可以，但是在CUB和Cars测试，他们都是鸟类或这汽车的数据，因此数据分布接近，这时之前训练的度量函数效果就不好了。

    解决domain shift的主要方法：1）无监督的领域自适应（unsupervised domain adaptation），这种放方法在训练阶段会使用目标域中的无标签数据。2）领域泛化（domain generalization），学习一个分类器，使他在目标域中有足够好的泛化性，但是这种方法目的是识别与训练阶段相同类型的数据

文章贡献：

    论文主要解决的是基于度量的方法在域迁移（domain shift）问题下的少样本分类任务。核心思想是提出了一个feature-wise transformation layer ，在训练阶段通过仿射变换增强图像特征来模拟不同领域中的特征分布。为了捕获不同领域中的特征分布，又使用了learning-to-learn的方法来搜索fearure-wise transofrmation layer中的超参数。实验数据集：mini-ImageNet，CUB, Cars, Places, and Plantae.

2. 方法

2.1 基于metric的方法

基于度量的方法通常包含两个部分：特征编码器 E 和度量函数 M：

E为特征编码器，本别对support set X s和query set Xq 进行编码，然后通过度量函数M实现分类。

基于度量的框架的训练目标是查询集中图像的分类损失。 

2.2 FEATURE-WISE TRANSFORMATION LAYER

问题设置：

    

    一个领域包含多个任务

，我们假设在训练阶段可以看到N个域

。目标是使我们的模型在目标域

有足够好的效果。

   

    为了解决度量函数M 在可视域上过拟合，作者提出了Feature-wise transformation layer，加在了在特征编码器 E的最后，通过放射变化来增强特征的表示。因此可以处理不同的特征分布从而提升了度量函数M的泛化性。

    作者将变换层插入到Feature Encoder 的BN层之后。变换层的两个超参数

和

代表的是用来从中采样affine变换参数的一个高斯分布的标准差。

然后，我们将调制激活ˆz计算为：

2.2 LEARNING THE FEATURE-WISE TRANSFORMATION LAYERS

    在每个训练迭代t中，我们从一组SEED域

中采样一个伪seen域Tpuf和一个伪不seen域Tpuf。给出了一个具有特征编码器Eθt和度量函数Mθt M的基于度量的模型，我们首先将具有超参数

的层集成到特征编码器（即Eθt E，θt f）中。然后，我们使用等式2中的损失，使用伪SEN任务

更新基于度量的模型中的参数∈ 租置计划，即

其中α是学习率。然后，我们通过1）从模型中移除特征转换层和2）计算更新模型在伪不可见任务Tpu={（Xpu-s，Ypu-s），（Xpu-q，Ypu-q）}上的分类损失来测量基于度量的更新模型的泛化能力∈ Tpu，即

    最后，由于损失反映了特征转换层的有效性，我们优化了超参数θf通过：

整个学习过程如下：

3. 实验

 

    更多精彩内容：

【论文整理】小样本学习Few-shot learning论文整理收藏（最全，持续更新）

【论文推送】跨域学习、跨域小样本学习Cross-Domain(持续更新...)