域自适应的理解与想法(Domain Adaptation)

域自适应的理解与想法(Domain Adaptation)_第1张图片
这幅图是域适应非常有名的一篇论文中的插图,被很多文章转载。

什么是领域自适应?
Domain Adaptation是迁移学习中很重要的一部分内容,目的是把分布不同的源域和目标域的数据,映射到一个特征空间中,使其在该空间中的距离尽可能近。于是在特征空间中对source domain训练的目标函数,就可以迁移到target domain上,提高target domain上的准确率。
上面的图主要的思想来源于GAN,上图由三部分组成:特征映射网络 在这里插入图片描述标签分类网络在这里插入图片描述和和域判别网络在这里插入图片描述
其中,source domain的数据是有标签的,target domain的数据是无标签的。在这里插入图片描述 将source和target domain的数据都映射到一个特征空间 Z
上, 在这里插入图片描述预测标签y, 预测数据来自于target还是source domain。所以流入在这里插入图片描述的是带标签的source数据,流入在这里插入图片描述的是不带标签的source和target的数据。

在这里插入图片描述 :将数据映射到feature space,使 在这里插入图片描述 能分辨出source domain数据的label,在这里插入图片描述分辨不出数据来自source domain还是target domain。

[公式] :对feature space的source domain数据进行分类,尽可能分出正确的label。

[公式]:对feature space的数据进行领域分类,尽量分辨出数据来自于哪一个domain。

最终,希望 在这里插入图片描述在这里插入图片描述博弈的结果是source和target domain的数据在feature space上分布已经很一致, 在这里插入图片描述 无法区分。于是,可以愉快的用 在这里插入图片描述来分类target domain的数据啦。

理论分析
首先Domain Adaptation基本思想是既然源域和目标域数据分布不一样,那么就把数据都映射到一个特征空间中,在特征空间中找一个度量准则,使得源域和目标域数据的特征分布尽量接近,于是基于源域数据特征训练的判别器,就可以用到目标域数据上。

从上面的原理来看,需要把图像映射到一个特征空间,这在图像分类和图像分割上使用的很多,因为在深度学习网络设计上,都有特征提取的步骤。在目标检测上,大多数域自适应的方法应用在faster rcnn上,同样也因为其有特征提取的过程,对于yolo这类的目标检测的报道很少。

理论分析方面,以下网站介绍的比较清晰:
https://zhuanlan.zhihu.com/p/50710267

CVPR2020上有一篇用在多模态上域自适应的方法,以后再做介绍。

你可能感兴趣的:(论文,深度学习)