Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data, NeurIPS 2021

• motivation

STARTUP(ICLR2021)中提出基于self-training的思想用target domain的去标记数据联合训练模型。但STARTUP中使用在base classes上预先训练得到的网络，为未标记的目标样本创建软标签。域间差异较大时，使用固定的预训练模型将目标图像投影到基数据集的类域中可能是次优的。

本文的问题设置和STARTUP中是一致的：带标签的源域样本+去标签的目标域样本

• contribution

1. 使用基于动态蒸馏的方法，同时使用标记源数据和未标记目标数据来学习目标域上的更好表示；
2. 在BSCD-FSL(ECCV2020)上1-shot上平均提高4.4%，5-shot上平均提高3.6%。

• 核心内容

1）整体框架

2）Encoder

给定嵌入网络和分类器 ，那么在base datasets上有监督的分类损失就为：

其中，p是预测标签：

3）Dynamic distillation

与STARTUP中类似地， 本文也引入了额外的teacher encoder 和teacher classifier  为未标记的图像集 生成伪标签。分别为无标签样本的弱增广样本 和强增广样本 预测伪标签：

弱增广样本的伪标签作为强增广样本 的软目标（soft-target），那么就可以得到蒸馏损失为：

可理解为一致性正则化器，可以预测图像不同增强版本的相似分数，也可以理解成自监督损失。

根据student weights对teacher weights进行更新：

• 实验部分

• 总结

在解决跨域问题时，尤其是target domain 和source domain之间domain shift非常显著的情况下，把target domain 中无标记数据拿过来用自监督的方法训练特征提取器确实是一种很取(zuo)巧(bi)的方法。(手动狗头保命)