InfoGAN介绍

InfoGAN介绍

GAN网络是是一种无监督的生成模型，能够利用已有的样本集进行训练，生成与源域样本集相似的样本。GAN模型有两部分组成，一个是样本生成器G，一个是样本来源判别器D。生成器G希望生成的样本与真实的样本尽可能的相似，通过引入一些噪音数据，生成样本集分布与真实样本分布尽可能一致。GAN模型利用了博弈的思想，希望训练的判别器D能够区别样本是来自真实样本还是生成器G生成的样本，即       结合以上，模型表达式为：

                                                           

InfoGAN是GAN模型的一种改进。针对于生成样本的噪音进行了细化，挖掘一些潜在的信息，模型将噪音分为两类：第一类是不可压缩的噪音z，第二类是可解释性的信息c，模型的生成网络会同时使用这两种噪音，进行生成样本。文章中最重要的是提出一种假设，认为之间的互信息应该很大即应该很高，这样模型得到的效果会更好。

在信息理论中X与Y之间的互信息计算公式为：

通过引入c，模型将目标函数定义为：

但是目标函数存在的问题是互信息很难去计算，因为需要知道后验概率。作者通过引入辅助分布来求得一个下界来代替后验概率的互信息计算，最后得到的下边界为：

其中为一个常数，但是公式中仍然存在后验概率计算，模型进一步推导：

其中可以通过蒙特卡洛仿真近似。这样InfoGAN模型最后的目标函数为：