【小白话CV】CycleGAN论文解读+代码实战（萌宠转宝可梦）

论文地址：

https://arxiv.org/abs/1703.10593

源码地址：

论文简介：

CycleGAN 的作用是将一类图片转换成另外一类图片。具体点来讲，有 X 和 Y 两个图像域 (比如马和斑马)，CycleGAN能够将图像域X的图像 (马) 转换为图像域Y的图像 (斑马) ，或者是将图像域Y的图像 (斑马) 转换为图像域X的图像 (马) 。

相较于 pix2pix 模型，CycleGAN 最大的创新在于能够利用非成对数据（右，unpaired data）进行训练。比如，我们希望训练一个将白天的照片转换为夜晚的模型。如果使用 pix2pix 模型，那么我们必须在搜集大量地点在白天和夜晚的两张对应图片，而使用 CycleGAN 只需同时搜集白天的图片和夜晚的图片，不必满足对应关系。因此，CycleGAN 的拓展性更好，应用更加广泛。

模型结构：

模型的基本结构如上图所示。CycleGAN为了实现两个域 $X$ 和 $Y$ 之间的相互映射而创建了两个生成器：$G:X\to Y$ 和 $F:Y\to X$，以及两个对应的判别器 $D_x$ 和 $D_y$。其中 $D_x$ 用于区分 $X$ 和 $F(Y)$ 的图像，$D_y$ 用于区分 $Y$ 和 $G(X)$ 的图像。

其最大的突破点在于引入了 循环映射 和 循环一致性损失（Cycle Consistency Loss）。

CycleGAN的的生成网络包含两个步长为2的卷积层，几个残差层（residual blocks） 和两个反卷积层。此外，参考Johnson等人的做法，CycleGAN使用了 instance normalization 。

判别网络使用了 70x70 的 PatchGANs，目的是对 70x70 的重叠图像块进行真伪判别。这种 patch-level 的判别器结构的参数比 full-image 的鉴别器少，并且可以以完全卷积的方式应用于任意大小的图像。

损失函数：

Adversarial Loss（对抗损失）：

在对抗损失函数中，生成器 $G$ 试图生成和图像域 $Y$ 相似的图片，判别器 $D_Y$ 尝试去区分转换的图片 $G(x)$ 和真实的图片 $y$。

优化目标就可以写作：

同时对于生成器 $F$ 和判别器 $D_X$，优化目标可以写作：

Cycle Consistency Loss（循环一致性损失）：

理论上，对抗性训练可以训练映射 $G$ 和 $F$ 产生和目标域 $Y$ 和 $X$ 相同分布的输出。然而，网络可以将同一组输入图像映射到目标域中的任意随机的图像，比如映射 $F$ 完全可以将所有 $x$ 都映射为 $Y$ 空间中的同一张图片，或者是与原图完全不相关的图片。

所以作者直觉上认为学习的映射函数应该是循环一致的——图像如果一个域转换到另一个域，然后再转换回来，是可以回到原点的。

这样 Cycle Consistency Loss 就定义为：

Full Objective（总损失）：

也可以将整个算法的优化目标写作：

训练策略：

为了让模型的训练过程更加稳定，作 借鉴了LSGAN，对 adversarial loss （对抗损失）进行了改进。用最小二乘损失代替了负对数似然目标。这种损失在训练中表现得更稳定，并产生更高质量的结果：

其次，为了减少模型振荡，作者使用生成图像的历史来更新判别器 $D_X$ 和 $D_Y$，而不是（或者说不只是）使用最新生成网络生成的图像。即保存一个图像缓冲区，存储了之前生成的50个图像用来训练判别器。

项目实战——萌宠转宝可梦：

爬取数据：

数据集使用百度图片爬虫爬取，关键词分别为：宝可梦、萌宠。

创建colab应用：

打开Colab并管理云盘：

数据集格式：

A 是宠物图片，B 是宝可梦图片。

开始训练：