AmbientGAN:Generative models from lossy measurements

环境GAN：从有损测度中生成模型

摘要：
生成模型提供了一种对于复杂分布中结构进行建模的方式，并且已经被证明可用于很多实际感兴趣的任务中。但是，现在训练生成模型的技术需要访问完全可观测（fully-observed）的样本。在很多场景中，获取完全可观测的样本是昂贵的甚至不可能的，但是获取部分的有噪声的观测样本是比较实惠的。我们考虑在只给予感兴趣的分布的样本的有损失观测情况下，学习一个隐式的生成模型的任务。我们证明了即使在测度模型的某个类的每个样本信息丢失的情况下，真正隐藏的分布也可以被恢复。基于此，我们提出了一种我们称之为环境GAN（AmbientGAN）的新的训练生成对抗网络的方法。在三个基准数据集和对于很多测度模型而言，我们证实了方法实质性的定性和定量的改进。用我们方法训练的生成模型可以获得比基准高2-4倍的初始分数（inception score）。
全文：https://openreview.net/forum?id=Hy7fDog0b

本文提出的模型很简单，就是生成器需要去拟合的数据分布并不可直接得到，但是知道经过一些处理后得到的原数据的有损数据，并且知道这个处理的过程，于是采用有损数据，并将处理过程整合到GAN的架构中，获得的就是这篇文章提出的AmbientGAN的架构，其具体架构如图所示：

其中Y是原始数据有损处理以后的结果数据，而黄色的fθ函数就是有损处理的映射函数，因而这个AmbientGAN与GAN之间的区别就在于分辨器D需要分辨输入的有损数据来自于真实的有损数据Yr，还是生成的数据Xg经过f函数映射后得到的Yg。因此，对应的AmbientGAN的loss修改为如下形式：

其中，q(x)表示的是质量函数（按照理解，就是loss函数，在原始的GAN中，这个函数就是q(x)=log(x)）。而fθ函数，就是模拟的测度函数，就是图中黄色部分。在论文中，这个函数要求对所有的输入，该函数可导。
就测度模型 (measurement models)而言，文中提出了几种不一样的模型，来测试AmbientGAN模型：
Block-Pixels：图片的每个像素都有独立的具有p的概率被设置为0.
Convolve+Nois：每个图片，先用卷积核k进行卷积操作，再加上噪声z（文中用的pθ，怕与上面的测度模型混淆，这里改写成z）。
Block-Patch：在图片中随机选择一个kk的块，将其像素值设置为0.
Extract-patch：在图片中随机选择一个kk的块，截取出来作为图片（类似于截图）
Pad-Rotate-Project：用0填充图片的四周，然后以图片中心为轴，旋转θ角度，然后每个通道沿着水平方向，叠加竖直方向的像素值，最后得到一个向量（维度为N13，其中N是每个通道横向的像素个数的最大值）。
Pad-Rotate-Project-θ：操作与Pad-Rotate-Project一致，但是θ是已知的。
Gaussian-Projection：高斯投影，θ~N(0,In)，fθ(x)=(θ,<θ,x>)（这个处理不是很懂，大致的操作就是使用高斯向量做投影？）
文章的理论基础认为AmbientGAN的分辨器D最优化的形式如下：

其中r上标表示真实数据，g上标表示生成数据，y下标表示经过测度后的数据。如果测度函数对于输入px唯一确定一个py，那么D最优的情况虽然是pry=pgy，但是此时唯一对应着有，pgx=prx。因而本文接下来的一部分理论证明的过程，都是证明上述提及的测度的模型唯一确定了一个测度后的样本。
由于AmbientGAN架构本质上就是在生成样本送D之前，加入了一个测度模型，因而其很容易整合到具体的GAN模型中去，文中在实验过程中，尝试将AmbientGAN整合到了DCGAN，WGANGP，ACWGANGP等架构中来测试其性能。
对于本文提出的架构，测试的Baseline的设计分为几种方式，第一种是完全忽略在图片上进行的测度处理，直接用测度以后的图片，训练GAN模型，被文中称为忽略型baseline。另一种更好一些的baseline就是如果f测度函数是可逆的，那么从测度样本y求出其完全观察样本x即可，但这样并不符合文中假设（假设是只能接触到测度后的样本），基于此，文中提出可以获得近似的逆样本，被称作逆测度的样本（unmeasure），然后利用这样的近似样本来学习生成模型。这样的近似，对于上述不同的测度模型不同：
Block-Pixels：模糊图片，对于0像素，使用其周围的像素来填充，文中采用的是total variation inpainting的方法。
Convolve+Noise：Wiener deconvolution的方法处理图片作为近似。
Block-Patch：Navier Stokes based inpainting的方法来填充0像素。
其他的测度模型，没有其他的方法进行近似估计逆值，因而在试验中，作者只提供了AmbientGAN的结果。
Block-Pixels实验结果：

Convolve+Noise实验结果：

Block-patch和Keep-patch实验结果：

Pad-Rotate-Project和Pad-Rotate-Project-θ实验结果

可以从上述的结果中看到，除了一个降维测度模型中，AmbientGAN没有产生较好的实验结果，其他的实验结果都是比baseline在观感上要好的。
接下来文章采用Inception Score来量化分析了AmbientGAN产生的图片质量，这部分重点关注的是在Block-Pixels和Convolve+Noise测度模型下的表现。

本文的附录部分提供了更多的实验结果的图片，这里就不一一复制粘贴了，附录中值得关注的一个实验是作者额外的实验。文中提出的AmbientGAN的前提条件是，获得了一些有损的或者叫不完整的样本，然后用来生成完整的样本，但是由完整样本得到不完整样本的处理是已知，这样的情况，对于f的要求太过具体，同时在实际中也很难遇到，但是可能存在知道大致的处理过程，但是有些具体参数不知道。作者用Block-Pixels做了个测试，在概率p不知道的情况，在f中穷举p的值，来获得不同的生成模型，最终Inception Score与估计的概率p’的图像如下，虽然这样的图像猜测中了实际的p值，但在实际问题中，这样的穷举能得到多大的效果，确实未知。

这篇文章的网络架构很简单，有损的样本，得到有损样本的处理过程，在这种情况下，将得到有损样本的处理过程整合到GAN中，以此得到AmbientGAN，来在只能得到有损样本和有损样本的处理过程的情况下，学习从不完整数据中，生成完整数据的一个生成模型。虽然整体的约束条件比较苛刻，但是有论文的审核者提出，这或许是为去噪模型提供了一种思路，这样的模型可能可以用来去噪或者还原图片。