InfoGAN(Interpretable representation learning by information maximizing GAN)

论文：https://papers.nips.cc/paper/6399-infogan-interpretable-representation-learning-by-information-maximizing-generative-adversarial-nets.pdf

摘要：

论文提出了InfoGAN算法，该算法是GAN算法的延伸，能在非监督学习下学习到很好的disentangled表示。InfoGAN最大化部分隐变量和探索之间的互信息，论文提出一个可高效优化的互信息的下届，InfoGAN在各项数据集中的训练测试表现优异。

介绍：

非监督学习可以被描述为在大量未标记数据中提取（有用）值的通用问题，非监督学习常用的框架是表示学习，表示学习的目标是使用未标记的数据学习一个表示能够将重要的语义特征展示为可编码的因素。非监督学习算法必须能够在没有直接的指示的前提下高效的正确的预测接下来可能的分类任务。论文提出的InfoGAN算法是通过最大化GAN的噪声中固定的一小部分和探索之间的互信息，来发现高度语义化的和有意义的隐藏表示信息。

背景：GAN

GAN(Generative adversarial networks)是一个对抗生成网络，目标是学习一个生成分布尽可能的接近真实的数据分布，GAN没有直接进明显的排列每一个x的分布的可能性，而是学习一个生成网络G，用于生成从生成网络中采样的样本，通过向生成网络传递一个噪声。对抗鉴别网络D的目的是识别从生成器分布中采样的数据和真实分布中的数据，优化的鉴别器如下定义：

GAN定义如下：

包含隐变量的互信息：

GAN使用一个简单的连续输入噪声向量 z ，可能会被生成器 G(z) 用于耦合其他向量，导致的结果是噪声 z 的独立维度与输入数据的语义特征不相关。在InfoGAN中，没有使用一个简单的无组织的噪声向量，而是将输入的噪声向量分解Wie两个部分：① z 作为不能压缩的噪声 ② c 作为隐藏编码，用于指出数据分布中的显著的语义特征。论文将有结构的隐变量定义为，假设一个因式分布：，使用隐藏编码 c 来表示隐变量 之间的联系。

论文的生成网络由不可压缩的噪声向量 z 和隐藏编码 c 组成，构成。在标准的 GAN 中，生成器忽视了隐藏编码，可以理解为，为了解决不重要的编码的问题，论文提出了信息论的规则方法，使用互信息来约束隐藏编码 c 和 生成分布，所以的值应该很高。

互信息公式定义如下：

其中，是当Y被探索了，关于X的不确定性的减少量，根据互信息理论，我们希望得到有一个较小的熵（熵代表惊喜度，较小的熵表示该事件发生可能性较大，也就是说该概率较大），最终的InfoGAN的定义式如下：

互信息的最大化：

由于很难直接求解，因为它需要求解后验分布，论文定义一个辅助分布来接近：

论文将H(c)看做常数，并根据定理：

将公式做出修改：

最终InofGAN的定义式如下：

论文使用神经网络来参数化辅助分布 Q，在大多数情况下，Q和D共享所有的卷积层，在条件分布中有一个最终的全连接层，同时论文提出的收敛速度比传统的GAN要快。在辅助分布中，使用非线性softmax表示，连续变量中，使用真实后验分布 ，论文使用因式的高斯分布来代替。