对抗网络在文本生成图片中的应用

1 简介

利用神经网络可以从文本生成图片，即将文本的语义转化为图片; 也可以从图片生成文本，即生成的文本描述图片中的内容，例如一幅图片中有一直小鸟落在枝头。最后由图片生产的文本就可以能可爱的绿色小鸟落于枝头。在计算广告中这种文本和图片之间互相生成的过程非常有用，如果可以在工业界有所突破，他们在广告创意的制作中将会发挥巨大作用，例如选定一个创意标题，立刻得到了创意图片，当制作完成了创意图片时也立刻得到了创意标题。

2 对抗网络(DCGAN)

２.１ 原理

• 生成过程
  输入的是高斯分布的数据，最终生成图片，相等于卷积网络的逆过程，如下图
  

  
  
  图1 生成网络

• 对抗学习
  将真实图片和生成网络产生的图片当成正，负样本，同时送入一个卷积网络，训练卷积网络，然后再将真实图片当成负样本，输入卷积网络对抗学习，达到调节生成网络的目的，如下图
  

  
  
  图2 对抗学习网络

主要参考这篇文章

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)

2.2 应用

• 生成模型的应用
  通过一个微调输入生成不同风格的图像，如下图，只要微调输入高斯分布数据就可以得到不同的风格，颜色的漫画
  

  
  
  图3 生成模型的应用

• 判别模型的应用
  可以利用已经学习好的判别模型对图片进行特征抽取，详见DCGAN参考文章。下图是从判别模型抽取图片特征然后分类的效果对比
  

  
  
  图4 判别模型抽取图片特征分类效果对比

3 DCGAN在Text2Image上的应用

３.１ 意义

图片与文本之间互相生成在广告创意制作上有非常重要的意义，可以得到炫酷的效果，见下图

图5 图片和文本之间互相生成在广告创意上的应用

３.２ Text2Image

文本生成图片的网络结构如下

图6 Text2Image网络结构

３.3 生成过程

生成过程与原生的DCGAN复杂，如下图

图7 Text2Image训练过程

3.4 示例

图8 由文本生成图片效果对比图

图9 通过修改同一句文本里的部分词语，生成不同的颜色图片

参考文献

• Generative Adversarial Text to Image Synthesis
• Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)
• Generative Adversarial Networks
• Conditional Generative Adversarial Nets
• Emerging Topics in Learning from Noisy and Missing Data: Zero Shot Learning