【论文笔记】Mixture Density Generative Adversarial Networks 混合密度生成对抗网络

论文地址：https://arxiv.org/pdf/1811.00152.pdf

1. 摘要翻译：

传统的GAN存在模型崩溃的风险。因此本文提出了一种称为混合密度GAN的变体，通过鼓励分类器在它的嵌入空间形成聚类来解决模型崩溃的问题。以此轮流引导产生器利用这个聚类并发现数据中不同的模型。这是通过将高斯密度函数定位在单纯形的角上，将得到的高斯混合作为鉴频器嵌入上的似然函数，并根据这些似然性为GAN训练制定一个目标函数来实现的。
作者基于经验演示了：

1. 网络中图像的生成质量，生成图片与原图的相似程度。
2. 避免模型崩溃的能力

2. 解决的问题

模型崩溃问题：生成器记住了一些训练模型，所有生成的样例都相似于那份唯一的模型了。这份被记住的样例就被称为模型

3. 使用的方法

使用混合密度高斯模型代替原先的模型。
对于分类器，每次不仅仅区分这张图是真的还是假的，还在真实图片的区分空间中多建立几个集合中心，区分这些图片分别是什么类型的。也就是说，分类器不仅完成了本职工作，还对真实图片做了一个聚类（好厉害）。由于由许多聚类，生成器也就不得不生成许多不同的图片，
MD_GANs的分类器使用了一个d维的嵌入空间，和一个目标函数，来推动聚类的形成。聚类是按照Simplex的格式安排的。

4. 实现

4.1 直觉（Intuition）

所有聚类的核心点会等距离排放，每个核心点构成一个高斯分布核，那么整个分布就可以看作一个高斯混合模型，也就是“简单高斯混合模型”（SGMM）。
用SGMM的参数定义一个似然函数，每次更新，我们都试图训练分类器，将输入的真实图片映射到中心点周围，任意一个中心点都行。而输入的假图片都基本会随机的分布在d维空间中（虽然离相应的核心优点近，但是比真实点远）。理想状态下，生成器生成图片时会考虑所有的核心，由此可以产生许多不一样的图片。

4.2 模型（model）

分类器： MD-GAN 的分类器是一个由d维输出的神经网络
SGMM需要满足

1. 单个组件是D维多元高斯函数
2. 模型包括d+1个高斯组件，其平均向量恰好是单纯性定点的坐标
3. 协方差矩阵是对角矩阵，在主对角线上所有分量的值相等。因此，所有的分量都是球面高斯函数。
4. 组件的权重W_i要不是1，如果这个组件在所有组件中似然最大，要么是0。
   对于一个由解码器D产生的嵌入（中间值），定义以下似然：
   
   Φ是高斯概率密度函数，W_i是组件混合权重，µ_i是平均向量, ∑_i是组件i的协方差矩阵。
   对于一张输入的图片，先经过分类器得到一个d维中间向量e, 将lk(e)解释为给定当前模型，e嵌入真实图像的概率。

4.3 MD-GAN的目标

定义如图所示的损失函数作为训练目标，目标是训练的最大值最小。
定义λ为似然函数lk的最大值，以保证（2）式中所有log里的内容是正数。

5. 结果

评价指标：
FID（Fréchet Inception Distance）：越低越好
% hq 稳定性越高越好