贝叶斯变分推断

Variational Bayesian Inference

Abstract

贝叶推断是统计学中的一个重要问题，也是许多机器学习方法中经常遇到的问题。贝叶斯推断已经被应用于各行各业。传统的贝叶斯技术需要通过积分来计算后验分布，而伴随着计算机的发展这一问题得到解决。在面对高维的参数空间时，基于蒙特卡洛抽样的方法难以直接评估或样本。而贝叶斯变分推断技术将后验推断问题巧妙地转化为优化问题进行求解，具有更好的收敛性和可扩展性。本文将对贝叶斯变分推断技术做出介绍。

1. Introduction

贝叶斯推断（Bayesian inference）是推论统计的一种方法，是统计学（特别是数理统计学）中很重要的技巧之一。它使用贝叶斯定理，在有更多证据及信息时，更新特定假设的概率。近些年来，贝叶斯推断在许多的领域中扮演者日益重要的角色，包括科学、工程学、哲学、医学、体育运动、法律等。

贝叶斯推断的关键是要确定统计模型的后验分布，此后模型将被用来对未知样本做出预测。然而由于积分的求解并容易（特别是在较为复杂的参数空间），在很多情形下，我们无法直接获得后验分布的理论解。这一点制约着基于贝叶斯的统计推断方法普遍的应用于各种问题。

近年来，随着计算机技术的发展，后验分布的近似计算问题取得了突破。其中基于马尔可夫的方法通过采样的方法使用随机化方法完成近似。然而，随着后验分布的复杂化，基于蒙特卡洛抽样的方法，特别是，马尔可夫链蒙特卡罗方法，如吉布斯抽样采取完全贝叶斯方法的统计推断复杂分布，难以直接评估或样本。而变分贝叶斯推断则是一个好的替代方法。变分贝叶斯提供了一个局部最优的精确后验的解析解。下面我们主要介绍贝叶斯变分推断的基本思想。

2. Method

变分推断方法的基本思想是通过使用已知简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，从而得到一种局部最优、但具有确定解的近似后验分布。在这一部分，我们将从问题的角度出发，介绍贝叶斯变分推断的具体流程。

2.1 Problem Formulation

给定一组数据 $\text{X}=\{x_1,x_2,,...,x_n\}$，我们需要计算隐含变量 $\text{Z}=\{z_1,z_2,...,z_m\}$ 的后验分布 $P(\text{Z}|\text{X})$，其中隐含变量 $\text{Z}$ 可以是给定模型的未知参数，是不能观察到的。

2.2 Bayes’ Theorem

对于以上问题，很自然的，我们尝试使用贝叶斯定理求解隐变量的后验分布：
$$P(\text{Z}|\text{X})=\frac{P(\text{X}|\text{Z})P(\text{Z})}{P(\text{Z})}$$
其中 $P(\text{X})={\int }_{\text{Z}}P(\text{X},\text{Z})d\text{Z}$，为边缘密度， $P(\text{X},\text{Z})$ 表示样本 $\text{X}$ 与隐变量 $\text{Z}$ 的联合分布。我们注意到分子部分的样本的似然函数 $P(\text{X}|\text{Z})$ 与隐变量的先验 $P(\text{Z})$ 在给定了模型的假设的条件下很容易求得。我们重点关注分母——对于边缘分布 $P(\text{X})$ 的计算。由于积分计算的复杂性，很多情况下，我们无法得到积分的显式表达，因而就无法计算后验分布，进行贝叶斯推断。

2.3 Approximate Inference

对于后验分布，虽然难以直接得到其精确解，但我们仍可以采用近似估计的方法得到其近似解，即：我们构造一个分布 $Q(\text{Z})$ 使得：
$$P(\text{Z}|\text{X})\approx Q(\text{Z})$$
其中 $Q(\text{Z})$ 称为变分分布（variational distribution），通常来说是几类比较简单的分布族（例如：高斯分布族）。举个例子，如图一所示，绿色的分布为真实的分布 $P$ ，我们所希望的是找到一个分布 $Q$（其他颜色） ，来近似估计分布$P$：

图一：近似估计

由此，我们就将求解后验分布问题转化为了近似分布问题。那么，如何衡量两个分布之间的差异呢？

2.4 Kullback-Leibler Divergence

我们引入KL散度（Kullback-Leibler Divergence） 来衡量两个分布之间的差异。定义分布$Q(\text{Z})$ 与分布 $P(\text{Z}|\text{X})$ 间的KL散度如下：
$$D_{KL}(Q(\text{Z})||P(\text{Z}|\text{X}))=\sum _{\text{Z}}Q(\text{Z})\log \frac{Q(\text{Z})}{P(\text{Z}|\text{X})}$$
注意，KL散度（又称相互熵）是一种不对称的度量标准，即：$D_{KL}(Q||P)\ne D_{KL}(P||Q)$。并且KL散度的值是非负的，当两个分布相同时，即：$Q(\text{Z})=P(\text{Z}|\text{X})$ 时，KL散度的值为0。

更进一步的，我们将公式 $(1)$ 代入上式消去后验分布，得到：
$$D_{KL}(Q(\text{Z})||P(\text{Z}|\text{X}))=\sum _{\text{Z}}Q(\text{Z})[\log Q(\text{Z})-\log P(\text{Z},\text{X})]+\sum _{\text{Z}}Q(\text{Z})[\log P(\text{X})]$$
我们注意到等式右边第二项 $P(\text{X})$ 对于 $\text{Z}$ 的求和来讲可以看作常量，并且 ${\sum }_{\text{Z}}Q(\text{Z})=1$。故上市可以简化为：
$$D_{KL}(Q(\text{Z})||P(\text{Z}|\text{X}))=\sum _{\text{Z}}Q(\text{Z})[\log Q(\text{Z})-\log P(\text{Z},\text{X})]+\log P(\text{X})$$
我们移项可以得到：
$$\log P(\text{X})=D_{KL}(Q(\text{Z})||P(\text{Z}|\text{X}))+\sum _{\text{Z}}Q(\text{Z})[\log P(\text{Z},\text{X})-\log Q(\text{Z})]$$
在上式中，在给定了隐变量 $\text{Z}$ 之后，$P(\text{X})$ 是恒定。由于 $D_{KL}(Q(\text{Z})||P(\text{Z}|\text{X}))>=0$，因而很自然的我们可以得到 $\log P(\text{X})$ 的下界 ${\sum }_{\text{Z}}Q(\text{Z})[\log P(\text{Z},\text{X})-\log Q(\text{Z})]$，在期望最大化框架下 $\log P(\text{X})$ 又被称为 log-evidence，而其下界又称ELBO（Evidence Lower Boundary）。

我们的目标——最小化KL散度可以转化为最大化 ${\sum }_{\text{Z}}Q(\text{Z})[\log P(\text{Z},\text{X})-\log Q(\text{Z})]$：
$$\underset{Q}{\mathrm{argmin}}{D}_{KL}(Q(\text{Z})||P(\text{Z}|\text{X}))\leftrightarrow \underset{Q}{\mathrm{argmax}}\sum _{\text{Z}}Q(\text{Z})[\log P(\text{Z},\text{X})-\log Q(\text{Z})]$$

2.5 Mean field approximation

我们可以借助平均场（Mean field）的思想简化上述目标的计算。平均场认为构成变分分布 $Q(\text{Z})$ 的隐变量相互之间时独立的，即：
$$Q(\text{Z})=\prod _{i=}^{m}Q(z_i)$$
我们将其带入ELBO的公式得：
$$ELBO=\sum _{\text{Z}}\prod _{i=1}^{m}Q(z_i)[\log P(z_i,\text{X})]-\sum _{\text{Z}}\prod _{i=1}^{m}Q(z_i)[\log Q(z_i)]$$
进一步的，我们可以利用条件概率公式对隐变量和观测值的联合概率进行展开：
$$ELBO=\sum _{\text{Z}}\prod _{i=1}^{m}Q(z_i)[\log P(z_i|\text{X})]+\sum _{\text{Z}}\prod _{i=1}^{m}Q(z_i)[\log P(\text{X})]-\sum _{\text{Z}}\prod _{i=1}^{m}Q(z_i)[\log Q(z_i)]$$
由此我们就得到了ELBO的平均场近似形式。之后。我们分别固定 $i$ 的取值，对于每一个 $z_i$ 我们利用坐标上升算法（coordinate ascent）进行优化，最终完成我们目标。

2.6 Black Box Variational Inference

我们还可以节借助黑盒变分推断（Mean field）来完成最大化ELBO的计算。我们假设 变分分布 $Q(\text{Z})$ 的参数为 $\theta$，那么变分分布可以记为 $Q(Z;\theta )$ 因而ELBO可以重写做：
$$ELBO=\sum _{\text{Z}}Q(\text{Z};\theta )[\log P(\text{Z},\text{X})-\log Q(\text{Z};\theta )]$$
为了得到我们的优化目标，我们对 $\theta$ 求导：
$$\nabla ELBO=\nabla \sum _{\text{Z}}Q(\text{Z};\theta )\left[\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}\right]$$

$$▽ELBO=\sum _{\text{Z}}\nabla Q(\text{Z};\theta )\left[\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}\right]+\sum _{\text{Z}}Q(\text{Z};\theta )\nabla \left[\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}\right]$$

经过一系列变换我们可以发现ELBO的第二项为0：
$$\nabla ELBO=\sum _{\text{Z}}\nabla Q(\text{Z};\theta )\left[\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}\right]$$
进一步的，我们对其进行稍加变换：
$$\nabla ELBO=\sum _{\text{Z}}Q(\text{Z};\theta )\frac{\nabla Q(\text{Z};\theta )}{Q(\text{Z};\theta )}\left[\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}\right]=\sum _{\text{Z}}Q(\text{Z};\theta )\nabla [\ln Q(\text{Z};\theta )]\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}$$
我们可以将上式看作 $\nabla [\ln Q(\text{Z};\theta )]\log \frac{P(\text{Z},\text{X})}{Q(\text{Z};\theta )}$ 的平均值，进而采取蒙特卡洛采样方法得到 $\nabla ELBO$ 的近似解：
$$\nabla ELBO=\frac{1}{N}\sum _{i=1}^{N}F({\text{Z}}_i)=\frac{1}{N}\sum _{i=1}^N\nabla [\ln Q({\text{Z}}_i;\theta )]\log \frac{P({\text{Z}}_i,\text{X})}{Q({\text{Z}}_i;\theta )}$$

然后我们可以使用如下的梯度下降方法，通过调整参数 $\theta$ 使 $\nabla ELBO$ 不断增大，直到出现最优解：
$${\theta }^{t+1}={\theta }^t+\eta \nabla ELBO$$
其中，$\eta$ 是梯度下降方法中的学习率。

至此贝叶斯变分推断的方法介绍完成。

3. Experiments and Discussion

贝叶斯推理基于著名的贝叶斯理论发展而来，是统计学和机器学习领域的经典方法。其主要的缺点在于，在大部分情况下，需要复杂的计算。马尔可夫链蒙特卡罗旨在根据密度估计参数。密度可以非常复杂，也可以仅由一个因子确定。马尔可夫链蒙特卡罗在贝叶斯推理中主要用于从后验分布的“非标准化部分”中直接生成样本，避免复杂计算。变分推断是用于搜寻最优近似分布的方法。该方法通过优化参数，在给定数族中找到最优近似分布。 由于变分推断优化过程对目标分布中的乘积常数不敏感，该方法可以用于生成仅由一个归一化因子定义的后验分布的最优近似分布。

由于马尔可夫链蒙特卡罗和变分推断各有特色，它们常用于不同类型的问题中。一方面，马尔可夫链蒙特卡罗复杂的采样过程不会造成偏差。所以，马尔可夫链蒙特卡罗方法在不考虑计算时间、需要得到精确结果的情况下更受青睐。另一方面，虽然变分推断的数族选择过程会造成结果偏差，但它的参数优化过程非常合理。所以，变分推断方法常用于需要快速计算的大规模推断问题中。

4. Conclusion

变分推断方法的基本思想是通过使用已知简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，从而得到一种局部最优、但具有确定解的近似后验分布。虽然变分推断的数族选择过程会造成结果偏差，但它的参数优化过程非常合理，变分推断方法常用于需要快速计算的大规模推断问题中。总之，变分推断与基于蒙特卡洛抽样的方法都在贝叶斯推断中起着举足轻重的作用。

Reference

1. The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay provides an introduction to variational methods (p. 422).
2. A Tutorial on Variational Bayes. Fox, C. and Roberts, S. 2012. Artificial Intelligence Review, doi:10.1007/s10462-011-9236-8.
3. Variational-Bayes Repository A repository of research papers, software, and links related to the use of variational methods for approximate Bayesian learning up to 2003.
4. Variational Algorithms for Approximate Bayesian Inference, by M. J. Beal includes comparisons of EM to Variational Bayesian EM and derivations of several models including Variational Bayesian HMMs.
5. High-Level Explanation of Variational Inference by Jason Eisner may be worth reading before a more mathematically detailed treatment.
6. Copula Variational Bayes inference via information geometry (pdf) by Tran, V.H. 2018. This paper is primarily written for students. Via Bregman divergence.
7. A Tutorial on Variational Bayesian InferenceCharles, Fox·Stephen Roberts
8. Variational Bayesian methods, Wikipedia
9. 如何简单易懂地理解变分推断(variational inference)？, 知乎
10. 一文学会变分推断及其求解方法, CSDN
11. 变分贝叶斯推断(Variational Bayes Inference)简介, CSDN
12. 变分推断（Variational Inference）最新进展简述, CSDN
13. 变分推断（Variational Inference）, 博客园
14. 机器学习, 周志华

本文为作者原创，转载请注明来源：https://blog.csdn.net/BrilliantAntonio/article/details/116885492