(CVPR 2019)Domain-Symmetric Networks for Adversarial Domain Adaptation笔记

Domain-Symmetric Networks for Adversarial Domain Adaptation

文章链接

网络结构

源域和目标域数据同个特征提取器G提取出特征向量，之后通过分类器（全连接层）得到$v$，这里的$v$是指经过全连接层但还没有经过$softmax$处理的结果。

使用两个分类器分别得到$v^s(x)$和$v^t(x)$，二者拼接得到$v^{st}(x)$。$v^s(x)，v^t(x)和v^{st}(x)$分别经过$softmax$得到$p^s(x)，p^t(x)和p^{st}(x)$

损失函数

首先包含常见的交叉熵分类损失

$mi{n}_{C,G}{\epsilon }_{task}=\frac{1}{n_s}{\sum }_{i=1}^{n_s}{L}^s(C(G(x_i^s)),y_i^s)$

使用领域判别器$D$混淆源域和目标域的特征向量

$mi{n}_D{\epsilon }_{domain}=-\frac{1}{n_s}{\sum }_{i=1}^{n_s}log(1-D(G(x_i^s)))-\frac{1}{n_t}{\sum }_{j=1}^{n_t}log(D(G(x_j^t)))$

$mi{n}_G{F}_{domain}=\frac{1}{2}{\epsilon }_{domain}-\frac{1}{2n_s}{\sum }_{i=1}^{n_s}log(D(G(x_i^s)))-\frac{1}{2n_t}{\sum }_{j=1}^{n_t}log(1-D(G(x_j^t)))$

综合上述的损失函数得到：

$mi{n}_{G,C}={\epsilon }_{task}(G,C)+\lambda {\epsilon }_{domain}(G,D)$

$mi{n}_D{\epsilon }_{domain}(G,D)$

以下为个人理解：在对抗训练方式中，该方法与之前的方法不一样。

对抗训练中，特征提取器的目标是源域和目标域的特征混淆，即特征向量给到判别器后，判别器无法判断特征向量来自哪个域，最后的输出是[0.5,0.5]。这就是这里$F_{domain}$的最优目标。

而在之前的对抗训练中，特征提取器的损失函数会直接使用判别器的损失函数，中间用梯度翻转层连接形成对抗。这样的话特征提取器就和判别器形成了绝对的对抗，特征提取器的最优结果是将源域的特征向量判断成目标域的，而将目标域的特征向量判断成源域的，与判别器的目标完全相反。

暂时没想清楚本文的方法和传统的方法有没有区别，如果有大佬知道希望可以讨论讨论。。。

本文novel的内容

​ 上述损失函数表示的是一个大致的损失函数构成，而本文着重在于利用两个分类器和$p^s(x)，p^t(x)以及p^{st}(x)$来完成类别层面的对齐

​ 两个分类器的训练方式为

​ $mi{n}_{C^s}{\epsilon }_{task}^s=\frac{1}{n_s}{\sum }_{i=1}^{n_s}log(p_{y_i^s}^s(x_i^s))$

​ $mi{n}_{C^t}{\epsilon }_{task}^t=\frac{1}{n_s}{\sum }_{i=1}^{n_s}log(p_{y_i^s}^t(x_i^s))$

目标域这个损失是要求目标域的分类器

之后一个判别损失，功能个人感觉和判别器类似

​ $mi{n}_{C^{st}}{\epsilon }_{domain}^s(G,C^{st})=-\frac{1}{n_t}{\sum }_{j=1}^{n_t}log({\sum }_{k=1}^K{p}_{k+K}^{st}(x_j^t))-\frac{1}{n_s}{\sum }_{i=1}^{n_s}log({\sum }_{k=1}^K{p}_k^{st}(x_j^s))$

上述式子看起来复杂，整理一下，因为p是经过$softmax$的输出，那么

${\sum }_{k=1}^K{p}_{k+K}^{st}(x_j^t)$可以看做一个判别器对于$x_j^t$给出的属于目标域的概率

${\sum }_{k=1}^K{p}_k^{st}(x_j^s)$可以看做一个判别器对于$x_i^s$给出的属于源域的概率

那么损失函数的目标就是将源域特征向量判断到源域，目标域特征向量判断到目标域

即：本文通过两个分类器在模拟判别器，挺有意思（虽然个人觉得理论性不强）

用于类别对齐的损失函数：

$mi{n}_G{F}_{category}^{st}(G,C_{st})=-\frac{1}{2n_s}{\sum }_{i=1}^{n_s}log(p_{y_i^s+K}^{st}(x_i^s))-\frac{1}{2n_s}{\sum }_{i=1}^{n_s}log(p_{y_i^s}^{st}(x_i^s))$

这个损失函数的目标即优化特征提取器，使得源域数据提取出的特征使用目标域的分类器同样可以很好分类

$mi{n}_G{F}_{domain}^{st}(G,C^{st})=-\frac{1}{2n_t}{\sum }_{i=1}^{n_t}log({\sum }_{k=1}^K{p}_{k+K}^{st}(x_j^t))-\frac{1}{2n_t}{\sum }_{j=1}^{n_t}log({\sum }_{k=1}^K{p}_k^{st}(x_j^t))$

上面的式子的作用仍然是整体对齐源域和目标域，但总感觉这个式子没什么用，看来理解不够深入，先挖个坑。

最后还包括一个熵损失，

$mi{n}_G{M}^{st}(G,C^{st})=-\frac{1}{n_t}{\sum }_{j=1}^{n_t}{\sum }_{k=1}^K{q}_k^{st}(x_j^t)log(q_k^{st}(x_j^t))$

$q_k^{st}(x_j^t)=p_k^{st}(x_j^t)+p_{k+K}^{st}(x_j^t)$

这个式子的作用是使目标域的数据的分类效果更好，即分类器会以较高的概率给出某个确定的分类（虽然这个不一定对）。