Importance Weighted Adversarial Nets for Partial Domain Adaptation

个人对论文的见解,本人初涉机器学习,有错误的地方还请指正。谢谢!

论文地址:https://arxiv.org/abs/1803.09210

参考博文:https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/79911316

参考博文:https://blog.csdn.net/ltochange/article/details/78773476(领域自适应简述


note:领域学习、迁移学习、自适应差别

自适应学习(最浅):是学知识,相同知识的转换,你懂的宋体的‘3’怎么认,所以你也可以认得到楷体的‘3’.

迁移学习:学方法,学一个大概分类方法。可以应用在别的分类上(不是相同知识(自适应),也不会零样本(领域学习))

领域学习(最深):学的是能力,你能认得到猫,要加上从文本知识可以认得到老虎(文本+图片)。认老虎也叫“零样本学习”


三种不同的领域自适应方法(来源于参考的第2篇博文,不懂对不对):

                                                    1)样本自适应,对源域样本进行加权重采样,从而逼近目标域的分布。(论文应该是这种)

                                                    2)特征层面自适应,将源域和目标域投影到公共特征子空间。

                                                     3)模型层面自适应,对源域误差函数进行修改,考虑目标域的误差。

一、论文工作

提出了一种加权对抗网络的无监督域适应,针对目标域类别标签少或者无类别标签。

我们目前接触过的绝大部分迁移学习问题情景都是:源域和目标域的特征空间与类别空间一致,只是数据的分布不一致,如何进行迁移。也就是说,源域和目标域要是几类,都是几类。

然而现实不实用,现实中target label<

二、论文方法

工作流程主要是:特征提取(F部分),权重获取(D部分),领域适应(D0部分)。

Importance Weighted Adversarial Nets for Partial Domain Adaptation_第1张图片

2.1、特征提取

Importance Weighted Adversarial Nets for Partial Domain Adaptation_第2张图片

通过source data的类别来提取特征。这是论文的预训练部分。

2.2、权重获取

此部分是该论文的核心创新点。主要思路是,由 Fs 和 Ft 产生的源域和目标域特征 Zs 和 Zt,通过一个领域分类器 D,判别样本是来自于源域还是目标域。

Importance Weighted Adversarial Nets for Partial Domain Adaptation_第3张图片

这个 D 是一个二类分类器,如果 D=1(Ps(Z)==1,Pt(Z)==0),显然表示样本来自源域;否则,样本则来自目标域。

也就是说,D(Z)越大,只跟源领域相关跟目标领域无关的可能性越大(异常类outlier),相反,源领域和目标领域的共享类的D*(Z)应该是很小的。所以我们可以得到权重公式:


也就是说共享类的权重大,只跟源领域相关跟目标领域无关的权重小。

这是第一个分类器的任务。

2.3、领域适应

加入权重以后,优化目标变成了:

Importance Weighted Adversarial Nets for Partial Domain Adaptation_第4张图片

D(源)=1,D(目标)=0,通过这最大最小化。使得源和目标自适应,不分彼此。

作者还加了一个熵最小化项用于对目标域的样本属性进行约束


最小化熵(熵越小,数据越不混乱),目的是让目标域的类别少。



现在,总的步骤就是:

特征提取:

权重获取:


领域适应:Importance Weighted Adversarial Nets for Partial Domain Adaptation_第5张图片


3、实验分析

RevGrad:域分类器+正则化

RTN:减少域迁移通过RTN

ADDA-grl:论文的未加权版本

SAN:在target label多的时候效果好。label多,参数也多。


其他不写了。。。反正实验分析就是说这个方法是多么好。。。

你可能感兴趣的:(论文)