基于tensorflow2.0-GAN-CycleGAN图像风格迁移应用编成实战系列(一）

GAN目前发展的很快，成果也很多，从GAN->Pix2pix->CycleGAN

1.GAN

1.1 GAN 的本质是一个概率生成模型，其目的是找出给定训练数据的概率分布模型，并基于概率分布模型来生成符合真实概率分布的数据。GAN作为一种更好的生成模型避免了马尔科夫链式的学习机制，理论上能够整合各种各样的损失函数

1.2 基本工作机制

至少拥有2个组成部分，生成G模型和判别D模型，G和D形成了一组左右互博的对手。在训练过程中，GAN会把生成模型G生成的数据和真实数据随机传送给判别模型D。

生成模型G的任务目标：是尽可能减小自己的数据被判别模型D识别出的概率。

判别模型D的任务目标是：1尽可能正确识别出真实数据样本。2、尽可能正确识别出生成模型G生成的假样本。

2、Pix2pix

  他是一种图像转换通用框架，他的作用是将一幅图像转换成另外一幅图像。比如，将一幅素描转化成高清立体图像。但有个难题，训练数据需要源图像和目标图像成对出现。

3、CycleGAN

 

无监督图像迁移通用框架，可以在没有成对训练数据的情况下将图像数据从源域迁移到目标域 。

其核心理念是转换互逆 。举例来说，如果F和G是转换互逆的，那么G可以将X域的图像转换 成Y域 的风格，F就可以将Y域的图像转换为X域的风格。

背景介绍： 图片迁移的目标是使用成对的图片训练数据集来学习输入图片和输出图片之间的映射。 问题： However,对于许多项目没有成对的训练数据集。 本文方法： 我们的目标是学习映射G: X→Y,使用对抗损失无法区分G(X)和Y的分布。所以我们又提出了成对的方向映射F:Y→X，并介绍了cycle consistency 损失来增强使得F(G(X))≈X。

源论文地址：https://arxiv.org/pdf/1703.10593.pdf
代码地址：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix，这个项目是pytorch框架的项目，但如标题写的本系列笔记里复现的是基于tensorflow2.0的。

 

4、StarGAN

      StarGAN是由香港科技大学和新泽西大学、韩国大学等机构研究人员提出的一个图像风格迁移模型，其可以在同一个模型中完成多个图像领域之间的风格转换任务。可以说，StarGAN是CycleGAN在输入输出多样性上的扩展 ，实现了多类输入到多类输出的风格迁移，这给工业届带来了很大便利，因为在工业的应用里面，我们需要的更多是多对多的风格域之间的转换。