FactorVAE

论文：https://arxiv.org/pdf/1802.05983.pdf

摘要：

论文阐述了非监督学习在变量的独立因子中生成数据的表示（学习）的解耦问题（disentangled representations），提出FactorVAE算法，算法通过激励表示的分布，使之成为因式，在整个维度中独立。论文展示了FactorVAE在解耦(disentanglement)和重建(reconstruction)中的表现优于β-VAE。论文指出了在常用解耦中的度量标准的问题，并引入了新的度量标准。

介绍：

在人工智能领域，学习数据的可解释的表示来提取语义信息有非常重要的意义，不仅对后续任务有用，在监督学习(supervised learning)，强化学习(reinforcement learning)，迁移学习(transfer learning)和 zero-shot learning中都非常重要，在上述四个任务中，机器学习的过程非常艰难。Bengio定义“表示”：表示是变量一个因素的改变对应这一个维度的改变，但是对于其他变量相对来说是不变的。论文提出在非监督学习下学习表示的理由有如下：① 人类能够学习非监督的变量 ② 标签需要人工标注，并且代价高昂 ③ 人工标注的标签可能前后不一致，或者其他人很难分辨。

β-VAE基于VAE的框架是一个非常实用的 disentangled 的非监督生成模型，β-VAE使用修正系数 β > 1 （变量后验分布和先验分布的KL散度）来修正VAE目标函数。β-VAE的一个缺点是牺牲一部分重建的效果来达到disentange的效果。本篇论文的提出在不减少重建质量的前提下达到更好的disentanglement。FatorVAE 在 VAE 部分使用一个惩罚来激励表示的边缘分布，将该惩罚作为一个因子而不影响重建效果。该惩罚定义为边缘分布和该边缘分布产生的结果之间的 KL 散度，且通过鉴别器网络（借鉴GANs）来优化。

论文指出了之前β-VAE使用标准的不足之处，并提出一个新的标准。InfoGAN 与 β-VAE 类似，但是基于GAN的网络结构，InfoGAN 通过奖励“探索”和隐藏（信息）之间的额互信息来学习 disentangled representaitons。由于GAN在生成训练的稳定性，论文总结出 InfoGAN-GP，是InfoGAN 的一个版本，使用 Wasser-stein 散度，并且在实验评估中使用梯度惩罚。

论文的主要贡献：① 提出了 FatorVAE 算法，该算法表现比β-VAE 优异 ② 论文指出了 β-VAE 标准的不足之处，并提出一个更加鲁棒的标准 ③ 论文经过实验对比了 FatorVAE 和 β-VAE 的表现。

Disentanglement 与 reconstruction 在β-VAE里的平衡：

论文介绍了VAE的框架，假设“探索”，是通过结合潜在因素而生成的，上述“探索”是使用具有真实值的隐向量生成的，并解释为数据的表示。生成模型是通过标准的高斯先验定义的，并将之选择作为分布因子。解码器通过一个神经网络进行参数化，“探索”的后验分布是，其中均值mean和方差variance是编码器生成的。变量的后验分布可以看做是表示的分布，公式如下：

是一个边缘分布，是数据的经验分布。

β-VAE假设所有因素独立，则：，得到最终的β-VAE的目标函数：

该方程表示期望的下届，当 β = 1 时，表示普通的 VAE，其他情况取 β > 1。公式的第一项表示重建误差，第二项表示规则项，用来惩罚模型复杂度。

也可以使用互信息的方式表示：

其中，表示“探索”x和隐向量 z 在联合分布下的互信息，激励隐变量之间的独立性而使得模型更加 disentangle. 但是会导致更差的重建效果。

TC 惩罚和 FactorVAE：

FactorVAE 在 VAE 的基础上直接添加一项，公式如下：

其中：，这个也是边缘log似然函数的下届，其中就是Total correlation，用来描述变量之间的联系，和都包含许多元素，并且直接使用Monte Carlo估计时需要整个数据对每一个的评估。FactorVAE 通过随机选择数据点 x 在 中采样，在（该采样是在q(z)中生成d个样本）中采样，最终的结果是两个分布逼近。

使用密度比例技巧(density-ratio trick)：

其中表示多层感知机生成的鉴别器。

算法：