【迁移学习论文六】Learning Semantic Representations for Unsupervised Domain Adaptation论文原理及复现工作

Learning Semantic Representations for Unsupervised Domain Adaptation 学习无监督域自适应的语义表示

相关会议

A

• Conference on Computer Vision and Pattern Recognition（CVPR）
• International Conference on Computer Vision（ICCV）
• AAAI Conference on Artificial Intelligence（AAAI）
• International Conference on Machine Learning（ICML）
• Annual Conference on Neural Information Processing Systems（NIPS）
• ACM International Conference on Multimedia（ACM MM）
• International Joint Conference on Artificial Intelligence（IJCAI:）

B

• European Conference on Computer Vision（ECCV）

C

• Asian Conference on Computer Vision（ACCV）
• International Conference on Pattern Recognition（ICPR）
• British Machine Vision Conference（BMVC）

文章介绍

• 这篇文章于2018年发表在ICML（International Conference on Machine Learning），作者是Shaoan Xie, Zibin Zheng, Liang Chen, Chuan Chen。
• 以往的领域自适应方法通过对齐源域和目标域之间的全局分布统计来解决这个问题，缺点是它们忽略了样本中包含的语义信息。
• 作者提出了一种“moving semantic transfer network”的方法，通过将标记好的源域中心和伪标记的目标域中心进行对齐，学习未标记目标样本的语义表示，期望同一类别但是不同域的特征能够被映射到相近的位置，从而提高目标域的分类准确性。
• 为了弥补每个小批量（mini batch）中不足的分类信息，论文中设计了一种谨慎的移动平均中心对齐方法。
• 实验证明，这种模型在标准数据集上取得了最先进的结果。
• 通过基于语义损失函数来减小源域和目标域的差异的方法，使源分布和目标的分布一致。

模型结构

我们首先用训练分类器 $f$ 给目标样本分配伪标签，得到一个伪标签的目标域。

算法描述-Moving Semantic Transfer Network

模型的每次迭代中计算移动语义转移损失

输入

• Labeled set $S$：源域中的带标签数据集
• Unlabeled set $T$：目标域中的未标记数据集
• $N$：批量大小（batch size）
• Training classifier $f$：用于训练的分类器
• Global centroids for two domains:${C_S^k}_{k=1}^K$, ${C_T^k}_{k=1}^K$：两个域中每个类别的全局质心/中心

质心/中心：表示特征空间中某个类别的中心点或代表性点，即特征的平均值

算法步骤

1. 从带标签的源域数据集 S 中随机抽取大小为 $N$ 的样本，称为 $S_t$。
2. 从未标记的目标域数据集 T 中随机抽取大小为 $N$ 的样本，称为 $T_t$。
3. 对目标域的 $T_t$ 进行预测，得到伪标签，称为 $T$。
4. 初始化移动语义转移损失 LSM 为 0。
5. 对于每个类别 k，执行以下步骤：
   • 计算源域中类别 k 的质心 $C_{S(t)}^k$：使用来自 $S_t$ 的样本计算 $G(x_i)$，其中 $x_i$ 是 $S_t^k$ 中的样本，更新 $C_{S(t)}^k$。
   • 计算目标域中类别 k 的质心 $C_{T(t)}^k$：使用来自 $T$的样本计算 $G(x_i)$，其中 $x_i$ 是 $T_t^k$中的样本，更新 $C_{T(t)}^k$。
   • 移动平均更新源域的质心 $C_S^k$：以参数 θ 权重更新当前质心 $C_{S(t)}^k$ 和先前质心 $C_S^k$。
   • 移动平均更新目标域的质心 $C_T^k$：以参数 θ 权重更新当前质心 $C_{T(t)}^k$和先前质心 $C_T^k$。
   • 计算语义距离损失 LSM，用于衡量两个域中同一类别的质心之间的距离。

输出

• 返回移动语义转移损失 $L_{SM}$

模型的目标

损失 = 标签分类损失 + 域分类损失 + 语义转移损失