通过ＧＡＮ网络生成样本的一些想法创造数据

GAN的初始目的是基于大量的无标记数据无监督地学习生成器G，具备生成各种形态（图像、语音、语言等）的数据能力。随着研究的深入与发展，以生成图像为例，GAN能够生成百万级分辨率的高清图像[6]。实际上，GAN生成数据并不是无标记真实数据的单纯复现，而是具备一定的数据内插和外插作用，可以作为一种数据增广方式结合其它数据更好地训练各种学习模型。进而，通过在生成器的输入同时包括随机变量z和隐码c并最大化生成图像与隐码c的互信息，InfoGAN能够揭示复杂数据中隐含的分布规律，实现数据的解释化表达[7]。因而，GAN不仅可以用于探索复杂数据的潜在规律，还能够生成高质量的生成样本以作为真实数据的有效补充，为学习智能模型提供了新的视角和数据基础。

 

对于条件GAN模型，生成网络的输入往往被定义为样本的类别甚至其它形式（模态）的数据。到目前为止，已研究了根据文本描述生成图像[8]，进行交互式图像编辑[9]，从低分辨率图像生成高分辨率图像[10]，预测视频的未来帧[11]，将仿真图像转换为真实风格的图像[12]，实现通用的图像到图像转换[5]，对真实图像的光照和天气条件进行变换[13]，从二维图像生成物体的三维模型等[14]。数据形式（模态）的转换可以进一步带来不同模态之间数据的可复用、模型和知识的迁移、创造更高水平的智能。例如，SimGAN能够将仿真图像转换为更具真实感的图像，同时保持仿真图像的标注信息不变，利用转换后的图像数据来训练视线估计和手势估计模型，使模型精度得到大幅提升[12]。

 

更进一步，由于GAN引入了对抗学习机制，在训练生成器产生更高质量数据的过程中，本身就会创造新的智能。例如，将语义分割卷积神经网络作为GAN的生成器，用判别器来判断分割图是来自分割网络还是来自真实标注，可以引入更高阶的一致性约束，提高语义分割的精度[15]；在本专刊中，郑文博等撰写的《基于贝叶斯生成对抗网络的背景消减算法》利用GAN的对抗学习机制来训练背景消减神经网络，将一批输入图像直接转换成一批前景/背景分割结果，在公共测试集上取得了良好的性能；MalGAN能够主动生成具有对抗性的病毒代码样本，攻击黑盒病毒检测模型，有利于提高反病毒软件的性能[16]。总之，GAN在对抗样本、数据增广、迁移学习和创造智能等方面都展现出巨大的潜力，已成为当前的深度学习与人工智能研究中关注的热点。