系列19 变分推断2-Algorithm

我们将 ：Observed data； ：Latent Variable + Parameters。那么 为complete data。根据我们的贝叶斯分布公式，我们所要求的后验分布为：

进行一些简单变换，我们可以得到：

在两边同时取对数我们可以得到：

公式化简

左边 = = 。

右边 =

其中， 被称为Evidence Lower Bound (ELBO)，被我们记为 ，也就是变分。

被称为 。这里的 。

由于我们求不出 ，我们的目的是寻找一个 ，使得 近似于 ，也就是 越小越好。并且， 是个定值，那么我们的目标变成了 。那么，我们理一下思路，我们想要求得一个 。也就是

模型求解

那么我们如何来求解这个问题呢？我们使用到统计物理中的一种方法，就是平均场理论(mean field theory)。也就是假设变分后验分式是一种完全可分解的分布：

在这种分解的思想中，我们每次只考虑第j个分布，那么令 个分布fixed。

那么很显然：

我们先来分析第一项 。

然后我们来分析第二项 ，

这个公式的计算如何进行呢？我们抽出一项来看，就会变得非常的清晰：

因为， 每一项的值都是1。所以第二项可以写为：

因为我们仅仅只关注第 项，其他的项都不关注。为了进一步表达计算，我们将：

那么(8)式可以写作：

这里的 表示为一个相关的函数形式，假设具体参数未知。那么(7)式将等于(13)式减(11)式：

等价于 。那么这个 要如何进行优化呢？我们下一节将回归EM算法，并给出求解的过程。

本文由 mdnice 多平台发布