Transfer Learning——对抗迁移学习

对抗迁移学习

- 数据分布自适应的对抗迁移方法

首次神经网络训练中加入对抗机制DANN（边缘分布）生成器对应提取器 域判别器 分类器
DAAN（边缘分布+条件分布 动态对抗，自适应因子 ）
ADDA（整体特征、局部特征）

原来是衡量两个域距离分布例如MMD距离等。现在定义一种可以被学习到的度量方式Metric()，使模型自动地从数据中学习到这个度量，而不用显示的去定义其函数形式
将GAN引入到迁移学习中，利用GAN的思想来自动的学习源域和目标域的隐式度量函数。我们将GAN的判别函数对应于Metric().一个判别器对应一个神经网络。
在整个GAN框架的迁移学习中，称为对抗迁移学习，其中对应关系如下：

生成对抗网络	迁移学习
真实样本	源域
随机噪声	目标域
生成器	特征提取器
判别器	分布度量函数

在训练过程中，特征提取器提取的特征尽可能相似，然后分布式度量函数神经网络尽可能能够判别不同域中提取出来的特征
无监督DA：利用有标签的，相关的数据预测无标签的数据（注意此时的标签在RUL里面指的就是RUL而不是是源域或者目标域）
在训练的时候loss是 源域中真实值和预测值的loss + 源域和目标域差别loss

- 基于信息解耦的对抗迁移方法

对于复杂的特征表示分类，可以看出特征的构成、作用等
领域分离网络（DSN）将源于和目标域扽为两部分：共有部分和私有部分
https://blog.csdn.net/weixin_37993251/article/details/91472097

- 基于数据生成的的对抗迁移方法

生成数据对迁移学习第一个作用：扩展训练数据
在数据生成的过程中，对源域和目标域的概率分布差异进行优化，提高迁移学习效果
为了对生成数据的概率分布差异进行匹配提出了CycleGAN，通过度量源域数据与被影射回源域数据之间的差异来进行训练