Auto-Encoding Variational Bayes

---

为了了解变分自编码器而查到这篇论文，但是看起来比较难懂，所以就一边用翻译软件翻译一遍记录着读。

---

摘要

在有向概率模型中，如果存在具有难处理的后验分布的连续隐变量和大型数据集，我们如何能够进行有效的推理和学习？ 我们引入了随机变分推理和学习算法，其扩展到大数据集，并且在一些温和的差异性条件下，甚至可以在棘手的情况下工作。 我们的贡献是双重的。 首先，我们表明，变分下界的重新参数化产生了可以使用标准随机梯度法直接优化的下限估计器。 其次，我们表明对于每个数据点具有连续隐变量的数据集. 通过使用提出的下界估计器将近似推理模型（也称为识别模型）拟合到难处理的后验分布，可以使得后验推理特别有效。 理论优势体现在实验结果中。

1.引言

如何用有连续隐变量和/或参数具有难处理的后验分布的有向概率模型来执行有效的近似推理和学习？变分贝叶斯（VB）方法涉及对难治性后验近似的优化。不幸的是，常见的平均场方法需要分析解决方案的期望w.r.t.估计后验，在一般情况下也是棘手的。我们展示了变分下界的重新参数化如何产生下界的简单可微的无偏估计;这种SGVB（随机梯度变异贝叶斯）估计器可以用于几乎任何具有连续隐变量和/或参数的模型中的有效近似后验推理，并且可以直接使用标准随机梯度上升技术进行优化。对于i.i.d.的情况，数据集和每个数据点的连续隐变量，我们提出了自动编码变分贝叶斯VB（AEVB）算法。在AEVB算法中，我们通过使用SGVB估计器来优化识别模型，使得我们能够使用简单的祖先抽样来执行非常有效的近似后推理，从而使推理和学习特别有效，这反过来又允许我们有效地学习模型参数，而没有每个数据点需要昂贵的迭代推理方案（如MCMC）。学习的近似后推理模型也可用于许多任务，如识别，去噪，表示和可视化目的。当使用神经网络进行识别模型时，我们得到变分自动编码器。

2.方法

本节中的策略可用于为具有连续隐变量的各种定向图形模型导出下限估计器（随机目标函数）。 我们将限制我们在这里常见的情况，我们有一个i.i.d. 数据集与每个数据点的隐变量，我们要对（全局）参数执行最大似然（ML）或最大后验（MAP）推理，以及对隐变量的变分推理。 例如，直接将这种情况扩展到我们也对全局参数进行变分推理的情况; 该算法放在附录中，但是这种情况下的实验将留给未来的工作。 请注意，我们的方法可以应用于在线，非静态设置应用，例如流数据，但这里为了方便我们假设一个固定的数据集。

2.1问题场景

（下面的一部分内容中公式较多，就直接截文章原图了）

非常重要的是，我们不对边缘概率或后验概率做出常见的简化假设。 相反，我们在这里对一般的算法感兴趣，甚至在以下情况下有效地工作：

我们对上述情况中的三个相关问题感兴趣并提出解决方案：

这篇残了，论文里公式推导太多，看懵了，先到这吧

下面的知乎上的文章可以帮助理解变分自编码器：

深度学习（五十一）变分贝叶斯自编码器(上)：https://zhuanlan.zhihu.com/p/25429082
写文章
深度学习（五十二）变分贝叶斯自编码器（下）：https://zhuanlan.zhihu.com/p/25429486