小样本学习论文阅读 | Confess: A framework for single source cross-domain few-shot learning, ICLR 2022 poster
1. motivation
目前的方法在源域和目标域存在较大域间偏差时实用性较差。本文认为：
1) 无监督学习可以缓解监督崩溃问题，并且训练得到的模型可以更好地推广到目标域中。
2) 因为源数据集和目标数据集之间存在很大差异，因此对源任务有用的特征可能对目标任务没有帮助，甚至有害。所以本文期望在小样本的情况下，通过提取更少的特征来提升泛化性能。
2. contribution
本文提出了一个“对比学习和特征选择系统”（Comparative learning and Feature Selection System）的小样本学习框架Confess，解决了基类和新类之间存在较大域偏移的问题。包含三个部分：
1) 在源域上基于对比损失无监督训练backbone；
2) 引入了mask module在目标域上训练来选择更适合目标域分类的相关特征；
3) 在目标域上微调分类器和backbone 。
实验部分在ECCV2020 challenge benchmark 上取得了很好的效果。
3. 核心内容
3.1 overall framework
3.2 无监督训练backbone
在预训练阶段，使用各种变换从训练批中的现有样本中扩充样本，并使用这些扩充样本和原始样本来计算对比损失。
具体来说，在每个批次中有
个样本，表示为
。对于每个样本
，都用
个变化得到对应的扩充样本
。让扩充样本
的特征接近原样本
并远离其他样本
，使用如下交叉熵损失：
具体的变化方式：color distortion (A Simple Framework for Contrastive Learning of Visual Representations, ICML2020)。
3.3 训练mask generator
从源域上训练得到的特征提取器为
。给定目标域上的样本，可以得到每个样本的特征为：
将该特征输入到mask生成模块M中得到对应的mask:
根据得到的mask，可以为每个特征得到对应的positive和negative的特征：
这里希望确保positive feature是有类别区分性的，而negative feature是没有类别区分性的：
其中，
是交叉熵损失，
和
是两个线性分类器。。
除此之外，最大化正特征集合
和负特征
集合之间的统计距离：
上述损失被联合起来用于训练mask generator:
3.4 微调过程
定义在目标域上的特征提取器为
，其初始化为
，对于每个目标域上的样本可以得到其特征为
。将其输入到线性分类器C中，计算交叉熵损失：
除此之外，Positive feature为：
提取到的特征应该和positive feature更接近：
那么微调损失就包含两个部分，分类损失和回归损失：
4. 实验部分
在跨域上得到的效果非常好：
5. 总结
存在一些有疑问的地方，mask generator是基于
在目标域上训练获得的，他是否适用于
提取得到的特征，这里的训练逻辑上有点绕。在迁移学习中，会在源域上预训练得到一个模型，然后再目标域上训练时固定大部分参数，微调剩下的部分参数，这里的mask起到的作用似乎也是类似的，就是把模型迁移到目标域上，但是又在目标域上继续微调了特征提取器。