李宏毅深度学习笔记14（GAN-02）

本节考虑如何控制生成对象。将GAN变为Conditional GAN，两者的Generator是相同的，不同的是Discriminator。

Text-to-Image

传统的做法：如下图所示，但是如果训练的图片是多个角度的，这样机器两边都学习到就会产生不好的结果，让大家看不出来像什么。

利用GAN去做：存在的问题是discriminator只会判断图片是否清晰是否真实，而无法按条件生成想要的图片。

最后用到Conditional GAN：不改变generator的部分，只改变discriminator的部分，给discriminator两个输入，一个是条件，一个是对象

image-to-image

传统方法跟Text-to-Image的传统方法一样，就是直接输入一副图片。但是用了GAN+close之后效果明显增强（不要太注重他们的原理，先了解什么东西会带来什么效果）

patch GAN

当用一个Discriminator来进行评估整个大张的图片的时候会有很多的问题，比如：overfitting，time out。
改进办法：用多个discriminator来进行评估。

speech enhancement

要想效果好，还是需要用到conditional GAN，改变discriminator的输入。

video generation

输入一段视频，预测之后会发生什么。