Unsupervised Domain Adaptation by Backpropagation阅读笔记

About this paper
Title: Unsupervised Domain Adaptation by Backpropagation
Authors: Yaroslav Ganin, Victor Lempitsky
Topic: Domain Adaptation
From:ICML 2015

Contributions

本文的主要贡献是提出了一种全新的度量源域和目标域数据分布差异性的方法（基于对抗的方法）。

Methods

Model Architecture

figure.1

本文方法的思路非常简单，模型有三个组成部分：
（1）特征提取器

（2）标签分类器

（3）域类别分类器

只考虑上面的分支的话，我们利用源域数据可以训练得到一个效果良好的源域数据分类器。但是因为源域数据和目标域数据之间存在shift(bias)，这个模型无法很好的对目标域数据进行分类。常用的一种方法就是将目标域数据和源域数据的特征分布对齐，这样用源域数据训练好的模型就可以给目标域数据分类了。
本文的方法就是提出了一种新的将源域和目标域数据分布对齐的方法。所以本文的想法是增加一个域分类器，判断来自特征提取器的特征是源域特征还是目标域特征，如果域分类器在训练良好的情况下无法分辨特征是来自源域还是目标域，那么说明源域特征和目标域特征的数据分布是相似的（对齐的）。

Optimization

那么这样一个看起来不是那么常规的模型该如何优化呢？先来直观解释，然后上公式。

直观解释

首先，对于上面这一支，因为只有源域数据有标签，所以只会训练源域数据。特征提取器和标签分类器都会最小化分类误差，以在源域数据上取得好的分类效果。
其次，对于下面这一支，源域数据和目标域数据都会训练。特征提取器会最大化域分类误差，以期望获得域不变特征，而域分类则要最小化域分类误差，以保证能准确的判断特征的域类别。这里就体现的对抗的思想（和GAN非常相似！）。
总结一下，模型三个部分的作用：
（1）标签分类器：最小化分类误差，对源域数据精确分类。
（2）域分类器：最小化域分类误差，以便能够准备的对特征的域类别进行分类。
（3）特征提取器：一方面，最小化分类误差，获得由判别力的特征。另一方面，最大化域分类误差，使特征具有域不变性。

公式

figure.2.png

figure.3.png

figure.4