Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation——CVPR2021

摘要

论文和代码链接
以前的对抗性学习方法仅重点关注两个不同分类器的输出之间的相似性。然而，输出的相似性不能保证目标样本的分类的准确性，即使两个分类器之间的差异很小，目标样本也可能与错误类别匹配。在本文中，我们提出了一种跨域梯度差异最小化（CGDM）方法，该方法明确地最小化了源样本和目标样本产生的梯度的差异。为了计算目标样本的梯度信息，我们通过基于聚类的自我监督学习进一步获得目标伪标签。

引言

现有的对抗域适应方法可以以两种方式实现。

• 应用额外的域鉴别器，以区分样本是否来自源或目标域。同时，通过从输入样本学习不可区分的特征来欺骗域判别器
• 与两个分类器的网络内对抗战略[36,14]。通过分类器和生成器之间的最大—最小化在交叉分类器输出差异上，可以有效地通过决策边界检测到远离源域外的目标样本，从而可以建立特征对齐，同时保留判别性。

CGDM采用源泉和目标样本之间的梯度差异作为额外的监督。此外，考虑到源代码器获得的伪标签可能不够准确，我们利用基于聚类的自我监督方法来获得用于目标样本的更可靠的伪标签。通过对齐梯度向量，可以在类别级别更好地对齐两个域的分布。

主要贡献总结如下：

• 该方法明确地最小化了源和目标样本产生的梯度差异。值得注意的是，我们制定所提出的梯度差异最小化作为广义学习损失，这可以很容易地应用于其他UDA范例。
• 为了计算目标样本的梯度，我们采用基于聚类的策略来获得更可靠的伪标签。然后，基于伪标签的自我监督学习是用源数据和目标数据进行微调模型，以减少模糊目标样本的数量。

相关工作

• 最大均值差异（MMD）是一种广泛使用的标准，以测量不同域之间的差异。深度适配网络（DAN）[24]同时最小化两个域之间的多核MMD和源样本上的精度误差，可以对准分布。联合自适应网络（JAN）[27]通过使用关节最大平均差异（JMMD）对准多个域特异性层的联合分布来扩展DAN。此外，MMD的其他一些变体也用于更适当的发散标准[26,21,13]。另外，中心差异（CMD）[42]和最大密度差异（MDD）[16]是对准隐藏层中的特征分布的另一种标准。
• 对抗性学习方法（第一种方法是采用额外的域鉴别器来区分域特定的特征，然后采用特征学习者来学习不可区分的特征来欺骗判别器[9,37]。稍后，一些研究[25,32,44,15]建议对准特征空间中的条件分布，以实现在类别级别的准确对齐）

基于伪标签的方法

• 一些最近的UDA方法使用伪标记技术利用目标样本的语义信息。张等人。在[43]中，直接使用伪标签作为正则化。谢等。 [39]利用伪标签来估计目标域的类心样，并将它们与源域中的类匹配。朗等人。 [25]使用模型预测的伪标签来实现条件分布对齐。邹等人。 [45]进一步提出了一种自我训练框架，可交替地改善伪标签并进行模型训练。基于聚类的伪标记方法[2,22,13]显示了它们的优越性并成功应用于域适应。[13]通过在特征空间中执行K-Means聚类来解决目标伪标签以进行对比学习

本文提出的方法

UDA与双分类器对抗性学习

最小化跨域梯度差异

我们在两个域之间介绍梯度相似度量，我们首先通过gs和gt表示通过源和目标示例的预期梯度。源样本的适当梯度制定如下：

为了计算由目标样本产生的渐变，需要标签信息，但是，这正是我们想要在UDA问题中获得的。为了解决这个尴尬的情况，我们将伪标签分配给目标样本；由于伪标签可能仍然不正确，以减轻可能具有不正确的伪标签的模糊目标样本的噪声，我们使用基于每个目标样本的预测熵来计算梯度的预测熵来计算加权分类损失。


在通过梯度差异损耗LGD在步骤3中更新发生器时，我们最小化这两个梯度向量之间的差异，在这里我们使用余弦相似性来表达差异,

通过该源域和目标域的分布在考虑样本的语义信息时对齐。

目标样本的自监督学习

在本文中，我们使用加权聚类策略来获得更可靠的伪标签。在这里，我们使用两个分类器的Softmax输出来样本权重以获得第K类的质心ck，通过最近的质心策略获得伪标签

这里D可以是任何特定的距离度量功能，我们在本文中使用余弦距离。

以诱导模型来学习鉴别的原始目标分布，并鼓励每个样品围绕正确的决策边界。用于自我监督学习的加权分类损失

通过上述自我监督过程，我们通过使用源数据和目标数据进行微调模型来改善步骤1中目标分布的差异，以便在随后在类别级别对准两个域之间的样本。

整体目标和优化程序

在这项工作中，我们的目标是通过使用自我监督的学习来解决双分类器对抗性学习的潜在缺点，并最大限度地减少由源域和目标域产生的梯度信号的差异。总而言之，通过利用自我监督损失，步骤1的优化目标可以如下重新制定

其中α> 0是权衡参数，可以根据验证集进行调整。在MCD之后，我们使用’1distance在步骤2中估计两个不同分类器之间的差异。在步骤3中，我们在两个域之间的梯度差异增加约束，因此最终的优化目标变为

无监督域适应的跨域梯度差异最小化算法流程

实验结果