李宏毅深度学习笔记15(GAN-03)

Unsupervised Conditional Generation
本节在讨论如何将一个对象从一个域转换到另一个域,而不需要成对的数据.有两种做法,这节课主要介绍这两种做法.

做法一:Direct Transformation

李宏毅深度学习笔记15(GAN-03)_第1张图片
generator可以生成类似Domain Y的风格的图片,骗过Discriminator.但如果仅仅如此,generator可以直接生成一张与原输入无关,但是与domain
Y的风格类似的图片,就可以直接骗过Discriminator.这个问题需要我们去解决.有三种方式可以解决.
1.直接忽略.因为当generator不是很deep的时候,输入和输出不会相差特别大,输入结果与输出相差特别多的情况可能不会出现.
2.向量化限制.当generator很deep的时候,这个时候可以把模型的输入输出接两个预训练好的NN,这两个NN把generator的输入和输出分别embedding为一个向量.然后训练generator条件变为:输入和输出的embedding要越接近越好,然后还要尽量骗过discriminator.
3.cycle GAN.用两个generator,第二个generator要把第一个generator生成对象重新还原回原输入的照片.两个generator连在一起,叫做cycle GAN.(在很多地方上会用到这个cycleGAN,但是它还是会存在一下问题,比如信息隐藏等)

做法二:Projection to Common Space

先提取出上部分的特征信息,将下部分相应的特征信息放进去,经过训练后,得到混合好的想要的图像.如果是监督学习,找到对应关系直接就可以训练,但现在运用的是非监督学习的方式,机器无法自己找到对应的关系.
李宏毅深度学习笔记15(GAN-03)_第2张图片
还可以运用到声音的改变上,用监督学习的方式需要很多组声音,用非监督的学习方式两组声音就足够了.

你可能感兴趣的:(笔记,深度学习)