Pix2Pix和CycleGAN

GAN的局限性
即便如此,传统的GAN也不是万能的,它有下面两个不足:

1. 没有**用户控制(user control)**能力
在传统的GAN里,输入一个随机噪声,就会输出一幅随机图像。

但用户是有想法滴,我们想输出的图像是我们想要的那种图像,和我们的输入是对应的、有关联的。比如输入一只喵的草图,输出同一形态的喵的真实图片(这里对形态的要求就是一种用户控制)。

 

这里写图片描述

2. 低分辨率(Low resolution)和低质量(Low quality)问题

尽管生成的图片看起来很不错,但如果你放大看,就会发现细节相当模糊
这里写图片描述

传统的GAN的种种局限,那么现在,我们相应的目标就是:

  • 提高GAN的用户控制能力
  • 提高GAN生成图片的分辨率和质量
  • 为了达到这样的目标,和把大象装到冰箱里一样,总共分三步:

  • pix2pix:有条件地使用用户输入,它使用成对的数据(paired data)进行训练。
    CycleGAN:使用**不成对的数据(unpaired data)**的就能训练。
    pix2pixHD:生成高分辨率、高质量的图像。

  • 这里写图片描述

  • pix2pix

    pix2pix对传统的GAN做了个小改动,它不再输入随机噪声,而是输入用户给的图片:

    这里写图片描述

  • 这里写图片描述

  • CycleGAN

    pix2pix必须使用成对的数据进行训练。


  • 这里写图片描述
    但很多情况下成对数据是很难获取到的,比如说,我们想把马变成斑马,现实生活中是不存在对应的真实照片的:

你可能感兴趣的:(Pix2Pix和CycleGAN)