基础论文 (一) ADDA

Introduction

对称与非对称概念

基于某种确定的度量，将其中某个域的特征映射到另一个域的特征空间中（“非对称”映射），或将源域和目标域的特征一起映射到一个新的共享空间（“对称”映射）。
非对称映射比对称映射能更好地模拟低层次特征的差异。

ADDA

ADDA首先使用源域中的标签学习判别表示，然后使用通过域对抗损失学习的非对称映射将目标数据映射到源特征空间（目标编码器）。

Adversarial discriminative domain adaptation

主要目标是正则化源和目标映射Ms和Mt的学习，从而使经验源和目标映射分布Ms(Xs)和Mt(Xt)之间的距离最小化,之后，源分类器Cs可以直接应用于目标域特征表示，无需学习单独的目标分类器。
1）首先，训练源分类模型：

2）接着是对域鉴别器D根据eq2优化，源域标签为1，目标域为0.

3) 领域对抗技术的通用公式如下:


LadvM对生成器Mt进行最小化训练达到域混淆的效果，让判别器判别错误，将Mt(xt)判别为1，来自源域。

ADDA与DANN的不同

DANN使用梯度反转层对映射进行了优化，直接使鉴别器损失最大化:

这种极大极小目标可能会导致梯度消失，因为**在训练的早期，鉴别器会快速收敛，导致梯度消失。**本文使用GAN loss
DANN中，s域和t域的特征共用一个extractor，训练过程实现的是extractor对s域和t域特征的对称映射。
ADDA优化公式LadvM 公式7提供了更有力的目标映射梯度。

图3.ADDA方法概述。1）首先使用标记的源图像示例预训练一个源编码器CNN。2）通过学习目标编码器CNN来执行对抗性域适应，效果就是域鉴别器就不能可靠地预测域标签。3）在测试过程中，目标图像通过目标编码器映射到共享特征空间，并由源分类器进行分类。虚线表示固定的网络参数。

注意，在ADDA中，对源和目标分别使用独立的映射Ms,Mt，并且只反向学习Mt。特征生成器模拟另一个不变分布的情况下，GAN损失函数是标准选择，其中真实图像分布保持固定，并学习生成分布以匹配它。
在两个分布都在变化的情况下，这个目标将导致振荡。此时，域混淆目标被提出，在此目标下，映射使用针对均匀分布[12]的交叉熵损失函数进行训练:

这种损失确保了对抗性鉴别器对两个域是相同的。

通用框架选择

图2.对抗域适应的通用架构。第二问指的是生成器的权重是否共享。

ADDA使用判别基模型、未共享权值和标准GAN损耗。
1）选择判别基模型，因为我们假设生成理想的域内样本所需的许多参数与判别适应任务LadvD无关。反例是CoGAN，与大多数方法一样，直接在判别空间中进行优化。
2）未共享权值，独立的源映射和目标映射，会学习到更多领域特定的特征提取。我们使用预训练的源模型作为目标表示空间的初始化，并在对抗性训练期间固定源模型。

如何确定Mt参数以及约束ψ(Ms, Mt)？

所有方法都使用源域映射Ms参数初始化目标映射Mt参数，但是不同的方法在源映射和目标映射之间选择不同的约束ψ(Ms, Mt)，目标是确保目标映射Mt的设置能够最小化源域和目标域在各自映射下的距离。
考虑一个分层表示法，各层参数表示为M l s或M l t,等价层集合{L1,……Ln}，n为样本数。探索的约束空间可以通过分层的等式约束描述如下:

每个层都可以被独立约束，一种常见的约束形式是源和目标分层相等: