[MFSAN]Aligning Domain-specific Distribution and Classifier

一、Abstract摘要

多源域到目标域的迁移学习，之前的大部分为单源域迁移学习即SUDA，这篇论文针对MUDA方法。之前的多源域迁移问题非常常见的一种方法就是，将所有的源域合并成一个单源域并且对齐分布（同SUDA方法一样），由于数据扩展的原因，这种方法也许会提高性能。但是提高的性能并不显著，所以有必要找一个更好的方法充分利用所有的源域。

1、过去的方法需要解决的问题

（1）很难为MUDA中的所有域提取相同的域不变特征；

（2）以往的方法都是在不考虑类之间特定域的决策边界下的情况进行匹配分布的。（即找不到最优分类边界）

2、论文创新点

(1) We propose a new two-stage alignment framework for MUDA which aligns the domain-specific distributions of each pair of source and target domains in multiple feature spaces and align the domain-specific classifiers' output for target samples. 提出了一个两阶段的对齐网络，该网络目标域和源域进行对齐。
(2) We conduct comprehensive experiments on three well-known benchmarks, and the experimental results validate the effectiveness of the proposed model.在三个经典的数据集得到了很好的效果。

二、网络框架

1、域内不变特征（internally-invariant features），与 分类有关的特征。产生与域的内部，不受其他域的影响，主要抓取数据的内在语义信息；
2、域间不变特征（mutually-invariant features），跨域迁移知识，通过多个域产生，共同学习的一些知识。 把这两种特征有效充分的结合起来，可以得到泛化性更好的模型。

因此模型的框架是：

1、第一个阶段，对齐特定域的分布。

分别将每对源域数据和目标域数据映射到不同特征空间中，并且对齐源域分布来学习多种域不变特征。

2、第二个阶段，对齐特定域的分类器。

由不同分类器预测的域特定决策边界附近的目标样本可能会得到不同的标签。因此，利用特定领域的决策边界，我们将分类器的输出对准目标样本。

框架包括三个部分：共同特征提取器、特定域的特征提取器、特定域的分类器。
①共同特征提取器Common Feature Extractor：提出了共同子网络来对所有域提取共同特征，并将原特征空间中的图像映射到一个共同特征空间中。
②特定域的特征提取器Domain-specific Feature Extractor：我们想要每对源域和目标域数据都能够映射到一个特定的特征空间中。通过mmd loss拉进每一个源域和目标域之间的距离。
③特定域的分类器Domain-specific Classifier：主要目的是对齐每个源域之间的分类距离。