李宏毅机器学习31——GAN（3）

 摘要：

这节课学习条件生成下GAN的应用(CGAN)。

conditional GAN 是指在有生成条件的前提下，通过对抗生成网络的方法，进行图像的生成。

首先文字生成图片为例，加入GAN的方法，将文字和生成图片联系起来，输入到生成式中。这样解决了传统方法下，生成的图片不够真实的问题。之后又对这个方法进行了改进，将生成式的输入和输出同时输入到判别式，使文字和图片作为一对数据联系起来。

之后又提出了一种新的判别式架构，将文字和图片的匹配，与图片的真实性分开评估，这样做的好处是，当判别式评分较低时，可以很轻松的分辨出出现问题的原因。

又讲了两种处理图片的方法，stack GAN是指先生成小的图片，再讲小图片拼接成大图片。

patch GAN则是通过多个判别器对同一个图片进行识别，让机器计算更快，更准确。

最后介绍了几种应用，包括图片到图片的生成，语音增强和视频的预测。这些应用的原理和之前的文本生成图片都是相同的，只是做法上有些许差异。

目录

1.text-to-image

2.设计discriminator的架构

3.实际应用

4.stack GAN

5.image-to-image

6.patch GAN

7.speech enhancement

8.video generation

总结:

---

什么是Condition generation by GAN

简单来说，就是输入文字，输出对应的图片，也就是操控输出的结果。

1.text-to-image

传统的监督学习方法，整个流程如下图所示，但是这样做会遇到一些问题，

假设文本为火车，通过监督学习的方法，得到的结果是模糊的，因为最终结果会是多个不同方向的火车图片的平均。

这就需要用到GAN的技术。

在conditional GAN中，生成器的输入是一个sample的normal distribution z和一个文本c，得到一个image x。判别器的输入是x，输出是对x的质量评分。训练判别器时，如果是真实的图像，就给1分，如果是生成