Variational Inference with Normalizing Flows 论文小结

变分推断中，用于近似的后验分布的选择是变分推断的核心问题。大多数的变分推断的应用为了进行高效的推断都聚焦于简单的后验近似族，比如mean-field（平均场）或者简单的结构化近似。这一限制极大的影响变分推断方法的质量和性能表现。本文提出了一种新的方法来指定灵活的，任意复杂的和可伸缩的近似后验分布(也就是 normalizing flow)。该近似是通过normalizing flow构造的分布，通过一系列可逆变换(invertible transformation)将简单的初始密度函数转化为更复杂的密度函数，直到达到我们所需的程度。利用normalizing flow的这一观点来发展有限和无穷小流的范畴，并为构造丰富的后验近似提供了一个统一的观点。实验部分作者展示了具有更好的匹配真实后验分布的后验，并且结合分摊VI（Amortized Variational Inference）的可扩展性，可以使变分推断的结果和适用性明显提高。

Amortized Variational Inference

考虑一个普通的概率模型，观测变量为$x$, 隐变量latent variable 为