机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)

对抗网络 GAN家族简介(EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)

1. Energy-based GAN

EBGAN 其实就是 鉴别器Discriminator,提前用AutoEncoder训练过的GAN

机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第1张图片

EBGAN的优势:

  1. GAN的训练比较麻烦,而AutoEncoder相对简单,EBGAN可以减少训练时间
  2. EBGAN的 discriminator 只会给有限的空间的值大的估计
    机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第2张图片

2. Info GAN

我们在生成图片或者内容的时候,肯定有这样的想法,生成的内容可以轻微调整吗。比如,数字的颜色,数字的大小,数字的形状,或者人的头发的颜色,皮肤的颜色。

简而言之,我们想“驾驭”GAN。

但是事与愿违,我们在参数集z的轻微调整,可能会有意想不到的影响。

机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第3张图片

Info GAN 就是帮助我们找到GAN的生成器的生成规律
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第4张图片

Info GAN的架构刚开始可能让人感到一头雾水,我们慢慢拆开看:

  1. 我们把Z 拆成 C和Z’
  2. C的内容我们用一个AutoEncoder(图片黄色部分)进行Decoder能够反向生成 X
  3. X的内容和常规的GAN一样,有个鉴别器Discriminator 进行鉴别

区分出C的意义就是C能够代表图片的特征。

论文 https://arxiv.org/abs/1606.03657 中,我们得到,修改C中的内容,可以得到不同的Minist效果图:
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第5张图片

3. Bi GAN

一般的,我们将Encoder和Decoder 是相连的,即Encoder的信息输入到Decoder中,但是BiGAN就将他们隔离开来,分别输入鉴别器Discriminator 来判断输入的image 和z 的pair 是来自encoder还是decoder。

机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第6张图片

具体的算法如下:
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第7张图片

4. 对抗领域训练 Domain adversarial training

我们直觉上认为,GAN在训练完黑白Minist后,生成器的特征feature和彩色Minist的生成器的特征应该分布接近,但是实际情况并非如此。

机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第8张图片

所以我们需要加入领域分类模块

机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第9张图片

5. VAE-GAN

我们之前介绍过VAE,通过VAE可以画图,但是加上GAN后,“双剑合璧”,威力就会更大。

机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第10张图片

6. Seq2Seq-GAN

在传统的语音识别中:
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第11张图片

我们可以加入语言encoder和说话者encoder
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第12张图片
使用GAN来区分说话者
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)_第13张图片

本专栏图片、公式很多来自台湾大学李宏毅老师的深度学习课程,在这里,感谢这些经典课程,向李老师致敬!

你可能感兴趣的:(深度学习,神经网络,GAN,对抗网络)