【gan】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

来源于https://blog.csdn.net/summer2day/article/details/79369064

摘要:

      图像到图像转换是一类计算机视觉问题,其目标是建立输入输出图片之间的映射关系。然而,对于很多任务而言,没有配对训练数据可。

     我们提出了一种在没有配对的情况下,从X 到目标域 Y 进行图像转换的方式。我们的目标是实现 G:X→ Y,其中 G(X) 的图像分布与使用对抗性损失分布的 Y难以区分。因为映射非常不完全,我们将其以 F:Y→ X 的方式建立映射,同时引入循环一致性损失函数来推动F(G(X))≈X(反之亦然)。

    我们在无法配对的训练数据中演示了新方法的成果,其中包括风格迁移、材质改变、季节变化、图像增强等。我们业余之前一些方法进行了定量比较,展示了新方法的优越性。

CycleGAN与pix2pix模型的对比

pix2pix也可以做图像变换,它和CycleGAN的区别在于,pix2pix模型必须要求成对数据(paired data),而CycleGAN利用非成对数据也能进行训练(unpaired data)。

【gan】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks_第1张图片

比如,我们希望训练一个将白天的照片转换为夜晚的模型。如果使用pix2pix模型,那么我们必须在搜集大量地点在白天和夜晚的两张对应图片,而使用CycleGAN只需同时搜集白天的图片和夜晚的图片,不必满足对应关系。因此CycleGAN的用途要比pix2pix更广泛,利用CycleGAN就可以做出更多有趣的应用。


Cycle gan链接

https://blog.csdn.net/c2a2o2/article/details/73338026

对抗网络

生成器网络和鉴别器网络,进行相互对抗。

生成器尝试从期望分布中产生样本,鉴别器试图预测样本是否为原始图像或生成图像。

利用生成器和鉴别器联合训练,最终生成器学习后完全逼近实际分布,并且鉴别器处于随机猜测状态。

过程

http://chuansong.me/n/1863244153929

生成器:

1.编码:用卷积网络从图像中提取特征,卷积层,非线性激励层,池化层等

2.转化:这些网络层的作用是组合图像的不同相近特征,然后基于这些特征,确定如何将图像的特征向量OAenc从DA域转换为DB域的特征向量。

3.解码:反卷积

判别器:

卷积网络

你可能感兴趣的:(【gan】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks)