Progressive Feature Alignment for Unsupervised Domain Adaptation-CVPR2019.md

Progressive Feature Alignment for Unsupervised Domain Adaptation (CVPR2019)

提出了一个逐步特征对齐网络 Progressive Feature Alignment Network (PFAN)去解决原域有标签、目标域无标签的无监督domain adaptation分类问题：

1. Easy-to-Hard 迁移策略 (EHTS)： 利用跨模态相似度逐步选择可靠的伪标签

2. 自适应原型对齐 Adapative Prototype Alignment (APA)： 对于每个类别，将原域和目标域的prototypes对齐

3. soft-max function with a temperature variate

1. Easy-to-Hard (EHTS):

先算出原域每一类的特征均值:

其中G为特征提取网络。

利用cosine similarity去度量目标域样本和原域每个类的距离：

设定一个阈值，在相似度超过阈值的贴上伪标签

阈值调整方式，一个增函数：

2. Adaptive Prototype Alignment (APA):

对于原域和目标域的每个类进行对齐：

在训练开始时，对于target domain中的每个类别求个特征均值：

对于每个epoch，根据所有mini-batch，求每个类的特征均值。

每训完一个epoch，根据这个epoch中每个类的特征均值和之前的特征均值，更新出新的均值：

这儿${\rho }_t$用于恒量最近一个epoch中得到的新 ${\bar{c}}_{k(I)}^t$与之前的KaTeX parse error: Expected 'EOF', got '\c' at position 1: \̲c̲_{k(I)}^\tau的相似度。

对于source domain也对每个类计算出prototype。

然后对于每个类的prototype，计算source 和target domain的距离。将距离之和作为loss：

3） soft-max function with a temperature variate

由于source domain具有可靠的标签，而target domain没有。

所以一般source domain下的分类loss收敛比target domain下块。这导致了网络容易对source domain产生过拟合，而在target domain下的表现有限。

对原域分类器加入一个较高的 temperature variate $T(T>1)$,可以阻碍、延缓原域分类器的收敛。通过以下的softmax函数实现，其中$q_i$代表每一类的预测概率：

4）对抗损失，使source 和target domain的特征无法区分

5. 总体损失函数:

Note：

1. 似乎只对source domian下的数据进行了分类

2. t-SNE

   The t-SNE visualization of network activations on target domain W generated by RevGrad and

3. A-distance

   [1] suggests that A-distance can be used as a measure of
   domai