迁移学习-PixelDA-Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks

Unsupervised Pixel–Level Domain Adaptation

with Generative Adversarial Networks

Google Brain

London, UK

这篇文章，提供的思路就是可以将超分辨的过程看做一个task，将迁移和超分辨在一个框架里组织起来，框架是有用的。因为文章里边说到，这种domain adaptation 是假定在low level 的，而MRI 和自然图像显然是在高层次语义意义上有所区别的 

1.Introduction

    首先介绍简单的综合两个域的数据然后训练效果一般会很差。解决方法就是非监督的damain adaptation，方法大概有两种：建立一种map使得source damain 可以表示target damain ; 找到一种中间表示， domain-invariant representations，这个可以表示两个域。

    然后介绍了这篇文章提出的 PixelDA 也就是基于GAN结构的非监督的转换网络。优势有四个：

• Decoupling from the Task-Specific Architecture: 解耦合了任务和DA,这样一个网络可以服务很多task
• Generalization Across Label Spaces: 原来task 和DA 网络耦合的时候要求标签一一对应，这样迁移和完成task是一体的标签不能乱，PIxelDA 可以解耦合就不会要求label 再一一对应
• Training Stability:task–specific loss trained on both source and generated images and a pixel similarity regularization that allows us to avoid mode collapse.
• Data Augmentation: 加入了noise 和source 作为G网络的输入，可以得到很多生成数据，就不需要大量的训练数据。
• Interpretability:因为生成了图像而不是中间表示的特征向量，效果显而易见，更加容易解释。

2. Related Work

    DANN, MMD,主要介绍了基于cnn的domain adaptation 方法；gan;style transfer;

3. Model

    分两步：step1，将从source domain 采样的数据 transfer 到目标域，其实就是生成，看起来像是目标域采样的数据一样；step2，分类器就可以工作了，可以看做几乎不需要 DA.

    注意：模型假定了，两个不同的域是在低层次（noise，resolution，illumination，color）的不同而不是高层次（type of object，geometric，etc）。

 

 G是生成网络，xs是源域，xf目标域，z为噪声，其他为网络要学习的参数

    注意，这个GAN里边不光是输入了z,还有了source image，不同于常规的gan;除此之外，除了D网络，边有个task网络，此处为分类器：

优化目标：

网络结构：

训练过程：

     During the first step, we update the discriminator and task-specific parameters θD; θT ,while keeping the generator parameters θG fixed. During the second step we fix θD; θT and update θG.

Content–similarity loss：用一个mask保证生成的数据和验有一定的联系，加入了限制，保证生成的数据更加符合要求

优化目标改为：

这个损失函数的作用就是让模型更容易产生大体上形状最起码类似的目标域的图像，这样模型就不会浪费太多的力气关注其他颜色或者像素强度这些信息。

其他：实验结果