PRML学习总结（10）——Approximate Inference

在有些情况下，精确推断是难以实现，只能寻求近似推断，根据近似⽅法依赖于随机近似还是确定近似，⽅法⼤体分为两⼤类。随机⽅法，例如第11章介绍的马尔科夫链蒙特卡罗⽅法，使得贝叶斯⽅法能够在许多领域中⼴泛使⽤。这些⽅法通常具有这样的性质：给定⽆限多的计算资源，它们可以⽣成精确的结果，近似的来源是使⽤了有限的处理时间。在实际应⽤中，取样⽅法需要的计算量会相当⼤，经常将这些⽅法的应⽤限制在了⼩规模的问题中。并且，判断⼀种取样⽅法是否⽣成了服从所需的概率分布的独⽴样本是很困难的。
本章中，我们介绍了⼀系列的确定性近似⽅法，有些⽅法对于⼤规模的数据很适⽤。这些⽅法基于对后验概率分布的解析近似，例如通过假设后验概率分布可以通过⼀种特定的⽅式分解，或者假设后验概率分布有⼀个具体的参数形式，例如⾼斯分布。对于这种情况，这些⽅法永远⽆法⽣成精确的解，因此这些⽅法的优点和缺点与取样⽅法是互补的。

10.1 Variational Inference

假设我们有⼀个纯粹的贝叶斯模型，其中每个参数都有⼀个先验概率分布。这个模型也可以有潜在变量以及参数，我们会把所有潜在变量和参数组成的集合记作$\mathbf{Z}$。类似地，我们会把所有观测变量的集合记作$\mathbf{X}$。例如，我们可能有$N$个独⽴同分布的数据，其中$\mathbf{X}=\left\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\right\}$且$\mathbf{Z}=\left\{{\mathbf{z}}_1,\dots ,{\mathbf{z}}_N\right\}$。我们的概率模型确定了联合分布$p(\mathbf{X},\mathbf{Z})$，我们的目标是寻找后验分布$p(\mathbf{Z}|\mathbf{X})$和模型evidence$p(\mathbf{X})$的近似分布，之前在EM算法中介绍了$$\ln p(\mathbf{X})=\mathcal{L}(q)+\mathrm{K}\mathrm{L}(q\Vert p)$$其中$$\begin{array}{rl}\mathcal{L}(q)& =\int q(\mathbf{Z})\ln \left\{\frac{p(\mathbf{X},\mathbf{Z})}{q(\mathbf{Z})}\right\}\mathrm{d}\mathbf{Z}\\ \mathrm{K}\mathrm{L}(q\Vert p)& =-\int q(\mathbf{Z})\ln \left\{\frac{p(\mathbf{Z}|\mathbf{X})}{q(\mathbf{Z})}\right\}\mathrm{d}\mathbf{Z}\end{array}$$与EM不同的是，参数$\mathbf{\theta }$一起包括在$\mathbf{Z}$中。和之前的分析一样，当最大化lower bound$\mathcal{L}(q)$时，就是在最小化KL部分，也就是说，当$q(\mathbf{Z})$足够自由时，KL部分就会消失，从而$q(\mathbf{Z})=p(\mathbf{Z}|\mathbf{X})$。但是现在我们考虑的模型十分复杂，真是后验是没法计算的。于是，我们转⽽考虑概率分布$q(\mathbf{Z})$的⼀个受限制的类别，然后寻找这个类别中使得KL散度达到最⼩值的概率分布。

10.1.1 Factorized distributions

下面介绍一种平均场理论，也就是将$q(\mathbf{Z})$分解为$$q(\mathbf{Z})=\prod _{i=1}^M{q}_i\left({\mathbf{Z}}_i\right)$$在这种分解的限制下，优化ELBO，只考虑$q_j$$$\begin{array}{rl}\mathcal{L}(q)& =\int \prod _i{q}_i\left\{\ln p(\mathbf{X},\mathbf{Z})-\sum _i\ln q_i\right\}\mathrm{d}\mathbf{Z}\\ & =\int q_j\left\{\int \ln p(\mathbf{X},\mathbf{Z})\prod _{i̸=j}{q}_i\mathrm{d}{\mathbf{Z}}_i\right\}\mathrm{d}{\mathbf{Z}}_j-\int q_j\ln q_j\mathrm{d}{\mathbf{Z}}_j+\text{ const }\\ & =\int q_j\ln p\left(\mathbf{X},{\mathbf{Z}}_j\right)\mathrm{d}{\mathbf{Z}}_j-\int q_j\ln q_j\mathrm{d}{\mathbf{Z}}_j+\text{ const }\end{array}$$当我们固定$\left\{q_{i̸=j}\right\}$时，可以发现最大ELBO就是在$q_j\left({\mathbf{Z}}_j\right)=p\left(\mathbf{X},{\mathbf{Z}}_j\right)$。$$\ln q_j^{\star }\left({\mathbf{Z}}_j\right)={\mathbb{E}}_{i̸=j}[\ln p(\mathbf{X},\mathbf{Z})]+\text{ const. }$$注意的是，const就是一个配比因子，归一化。$$q_j^{\star }\left({\mathbf{Z}}_j\right)=\frac{\exp \left({\mathbb{E}}_{i̸=j}[\ln p(\mathbf{X},\mathbf{Z})]\right)}{\int \exp \left({\mathbb{E}}_{i̸=j}[\ln p(\mathbf{X},\mathbf{Z})]\right)\mathrm{d}{\mathbf{Z}}_j}$$得到这样的结果，我们就可以采用迭代的方式得到最终结果。

10.1.2 Properties of factorized approximations

我们的变分推断的⽅法基于的是真实后验概率分布的分解近似。让我们现在考虑⼀下使⽤分解概率分布的⽅式近似⼀个⼀般的概率分布的问题。⾸先，我们讨论使⽤分解的⾼斯分布近似⼀个⾼斯分布的问题，这会让我们认识到在使⽤分解近似时会引⼊的不准确性有哪些类型。需要近似的二维高斯分布为$p(\mathbf{z})=\mathcal{N}\left(\mathbf{z}|\mathbf{\mu },{\mathbf{\Lambda }}^{-1}\right)$，利用$q(\mathbf{z})=q_1\left(z_1\right)q_2\left(z_2\right)$近似它。$$\begin{array}{rl}\ln q_1^{\star }\left(z_1\right)& ={\mathbb{E}}_{z_2}[\ln p(\mathbf{z})]+\text{ const }\\ & ={\mathbb{E}}_{z_2}\left[-\frac{1}{2}{\left(z_1-{\mu }_1\right)}^2{\Lambda }_{11}-\left(z_1-{\mu }_1\right){\Lambda }_{12}\left(z_2-{\mu }_2\right)\right]+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}\\ & =-\frac{1}{2}{z}_1^2{\Lambda }_{11}+z_1{\mu }_1{\Lambda }_{11}-z_1{\Lambda }_{12}\left(\mathbb{E}\left[z_2\right]-{\mu }_2\right)+\text{ const. }\end{array}$$上式的右边刚好关于$z_1$的二次函数，则说明$q^{\star }\left(z_1\right)$刚好也是高斯分布，需要说明的是，平均场理论，我们并没有规定各个分解后的分布的类型，这儿就能推出分布是个什么类型。$$q^{\star }\left(z_1\right)=\mathcal{N}\left(z_1|m_1,{\Lambda }_{11}^{-1}\right)$$其中$$m_1={\mu }_1-{\Lambda }_{11}^{-1}{\Lambda }_{12}\left(\mathbb{E}\left[z_2\right]-{\mu }_2\right)$$同理可得$$q_2^{\star }\left(z_2\right)=\mathcal{N}\left(z_2|m_2,{\Lambda }_{22}^{-1}\right)$$$$m_2={\mu }_2-{\Lambda }_{22}^{-1}{\Lambda }_{21}\left(\mathbb{E}\left[z_1\right]-{\mu }_1\right)$$可以发现$q^{\star }\left(z_1\right)$和$q_2^{\star }\left(z_2\right)$相互耦合，即互相包括了期望值，因此可以采用迭代的方式进行求解。通过分析可以发现，最终均值就是$\mathbb{E}\left[z_1\right]={\mu }_1$，$\mathbb{E}\left[z_2\right]={\mu }_2$。结果如图10.2(a)，我们看到，均值被正确地描述了，但是$q(\mathbf{z})$的⽅差由$p(\mathbf{z})$的最⼩⽅差的⽅向所确定，沿着垂直⽅向的⽅差被强烈地低估了。这是⼀个⼀般的结果，即分解变分近似对后验概率分布的近似倾向于过于紧凑。
作为⽐较，假设我们最⼩化相反的Kullback-Leibler散度$\mathrm{K}\mathrm{L}(p\Vert q)$。正如我们将看到的那样，这种形式的KL散度被⽤于另⼀种近似推断的框架中，这种框架被称为期望传播（expectation propagation）。于是，我们考虑⼀般的最⼩化$\mathrm{K}\mathrm{L}(p\Vert q)$的问题，其中$q(\mathbf{Z})$是形式为$q(\mathbf{Z})={\prod }_{i=1}^M{q}_i\left({\mathbf{Z}}_i\right)$的分解近似。这样，KL散度可以写成$$\mathrm{K}\mathrm{L}(p\Vert q)=-\int p(\mathbf{Z})\left[\sum _{i=1}^M\ln q_i\left({\mathbf{Z}}_i\right)\right]\mathrm{d}\mathbf{Z}+\text{ const }$$$$q_j^{\star }\left({\mathbf{Z}}_j\right)=\int p(\mathbf{Z})\prod _{i̸=j}\mathrm{d}{\mathbf{Z}}_i=p\left({\mathbf{Z}}_j\right)$$以上结果为一个解析解，不需要迭代，结果如图10.2(b)。我们再⼀次看到，对均值的近似是正确的，但是它把相当多的概率质量放到了实际上具有很低的概率的变量空间区域中。之所以会造成这样的不同$$\mathrm{K}\mathrm{L}(q\Vert p)=-\int q(\mathbf{Z})\ln \left\{\frac{p(\mathbf{Z})}{q(\mathbf{Z})}\right\}\mathrm{d}\mathbf{Z}$$当$p(\mathbf{Z})$为0的区域，$q(\mathbf{Z})$必须也为0，否则会让上式引入一个很大的正数贡献。而反KL散度，当$p(\mathbf{Z})$为0的区域，当$q(\mathbf{Z})$不为0时，不会引入正数贡献，并且$p(\mathbf{Z})$不为0的区域，$q(\mathbf{Z})$必须不为0。
当用单高斯近似多元高斯时，基于最⼩化$\mathrm{K}\mathrm{L}(q\Vert p)$的变分⽅法倾向于找到这些峰值中的⼀个。相反，如果我们最⼩化$\mathrm{K}\mathrm{L}(p\Vert q)$，那么得到的近似会在所有的均值上取平均。在混合模型问题中，这种⽅法会给出较差的预测分布（因为两个较好的参数值的平均值通常不是⼀个较好的参数值）。可以使⽤$\mathrm{K}\mathrm{L}(p\Vert q)$定义⼀个有⽤的推断步骤，但是这需要⼀种与这⾥讨论的内容相当不同的⽅法。当我们讨论期望传播的时候，我们会仔细讨论这⼀点。
以上两个KL散度其实为alpha家族$${\mathrm{D}}_{\alpha }(p\Vert q)=\frac{4}{1-{\alpha }^2}\left(1-\int p(x{)}^{(1+\alpha )/2}q(x{)}^{(1-\alpha )/2}\mathrm{d}x\right)$$

10.1.3 Example: The univariate Gaussian

考虑一个高斯分布，我们的目标是去近似均值和精度的后验分布。似然为$$p(\mathcal{D}|\mu ,\tau )={\left(\frac{\tau }{2\pi }\right)}^{N/2}\exp \left\{-\frac{\tau }{2}\sum _{n=1}^N{\left(x_n-\mu \right)}^2\right\}$$引入共轭先验为$$\begin{array}{rl}p(\mu |\tau )& =\mathcal{N}\left(\mu |{\mu }_0,{\left({\lambda }_0\tau \right)}^{-1}\right)\\ p(\tau )& =\mathrm{Gam}\left(\tau |a_0,b_0\right)\end{array}$$对于这个问题我们能够计算出精确的后验分布，这儿我们采用平均场变分推理$$q(\mu ,\tau )=q_{\mu }(\mu )q_{\tau }(\tau )$$可得$$\begin{array}{rl}\ln q_{\mu }^{\star }(\mu )& ={\mathbb{E}}_{\tau }[\ln p(\mathcal{D}|\mu ,\tau )+\ln p(\mu |\tau )]+\text{ const }\\ & =-\frac{\mathbb{E}[\tau ]}{2}\left\{{\lambda }_0{\left(\mu -{\mu }_0\right)}^2+\sum _{n=1}^N{\left(x_n-\mu \right)}^2\right\}+\text{ const. }\end{array}$$可以发现该分布为一个高斯分布，$$\mathcal{N}\left(\mu |{\mu }_N,{\lambda }_N^{-1}\right)$$其中$$\begin{array}{rl}{\mu }_N& =\frac{{\lambda }_0{\mu }_0+N\overline{x}}{{\lambda }_0+N}\\ {\lambda }_N& =\left({\lambda }_0+N\right)\mathbb{E}[\tau ]\end{array}$$注意当$N\to \infty$时，就变为了MLE。同样地$$\begin{array}{rl}\ln q_{\tau }^{\star }(\tau )=& {\mathbb{E}}_{\mu }[\ln p(\mathcal{D}|\mu ,\tau )+\ln p(\mu |\tau )]+\ln p(\tau )+\text{ const }\\ =& \left(a_0-1\right)\ln \tau -b_0\tau +\frac{N}{2}\ln \tau \\ & -\frac{\tau }{2}{\mathbb{E}}_{\mu }\left[\sum _{n=1}^N{\left(x_n-\mu \right)}^2+{\lambda }_0{\left(\mu -{\mu }_0\right)}^2\right]+\text{ const }\end{array}$$此时为一个gamma分布$\mathrm{Gam}\left(\tau |a_N,b_N\right)$$$\begin{array}{rl}{a}_N& =a_0+\frac{N}{2}\\ b_N& =b_0+\frac{1}{2}{\mathbb{E}}_{\mu }\left[\sum _{n=1}^N{\left(x_n-\mu \right)}^2+{\lambda }_0{\left(\mu -{\mu }_0\right)}^2\right]\end{array}$$需要说明的是，我们并没有事先规定各个分布的类型，而是很自然地推导出。由于以上两个分布相互耦合，同样可以采取迭代的方式

10.1.4 Model comparison

10.2. Illustration: Variational Mixture of Gaussians

这儿讨论的是全贝叶斯的GMM

$$p(\mathbf{Z}|\mathbf{\pi })=\prod _{n=1}^N\prod _{k=1}^K{\pi }_k^{z_{nk}}$$$$p(\mathbf{X}|\mathbf{Z},\mathbf{\mu },\mathbf{\Lambda })=\prod _{n=1}^N\prod _{k=1}^K\mathcal{N}{\left({\mathbf{x}}_n|{\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k^{-1}\right)}^{z_{nk}}$$$$p(\mathbf{\pi })=\mathrm{Dir}\left(\mathbf{\pi }|{\mathbf{\alpha }}_0\right)=C\left({\mathbf{\alpha }}_0\right)\prod _{k=1}^K{\pi }_k^{{\alpha }_0-1}$$$$\begin{array}{rl}p(\mathbf{\mu },\mathbf{\Lambda })& =p(\mathbf{\mu }|\mathbf{\Lambda })p(\mathbf{\Lambda })\\ & =\prod _{k=1}^K\mathcal{N}\left({\mathbf{\mu }}_k|{\mathbf{m}}_0,{\left({\beta }_0{\mathbf{\Lambda }}_k\right)}^{-1}\right)\mathcal{W}\left({\mathbf{\Lambda }}_k|{\mathbf{W}}_0,{\nu }_0\right)\end{array}$$

10.2.1 Variational distribution

首先写成该模型的联合分布$$p(\mathbf{X},\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })=p(\mathbf{X}|\mathbf{Z},\mathbf{\mu },\mathbf{\Lambda })p(\mathbf{Z}|\mathbf{\pi })p(\mathbf{\pi })p(\mathbf{\mu }|\mathbf{\Lambda })p(\mathbf{\Lambda })$$利用平均场变分$$q(\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })=q(\mathbf{Z})q(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })$$首先更新第一个因子$$\ln q^{\star }(\mathbf{Z})={\mathbb{E}}_{\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda }}[\ln p(\mathbf{X},\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })]+\text{ const. }$$则$$\ln q^{\star }(\mathbf{Z})={\mathbb{E}}_{\pi }[\ln p(\mathbf{Z}|\mathbf{\pi })]+{\mathbb{E}}_{\mathbf{\mu },\mathbf{\Lambda }}[\ln p(\mathbf{X}|\mathbf{Z},\mathbf{\mu },\mathbf{\Lambda })]+\text{ const. }$$进一步$$\ln q^{\star }(\mathbf{Z})=\sum _{n=1}^N\sum _{k=1}^K{z}_{nk}\ln {\rho }_{nk}+\text{ const }$$其中$$\begin{array}{rl}\ln {\rho }_{nk}=& \mathbb{E}\left[\ln {\pi }_k\right]+\frac{1}{2}\mathbb{E}\left[\ln \left|{\mathbf{\Lambda }}_k\right|\right]-\frac{D}{2}\ln (2\pi )\\ & -\frac{1}{2}{\mathbb{E}}_{{\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k}\left[{\left({\mathbf{x}}_n-{\mathbf{\mu }}_k\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_k\left({\mathbf{x}}_n-{\mathbf{\mu }}_k\right)\right]\end{array}$$从而$$q^{\star }(\mathbf{Z})\propto \prod _{n=1}^N\prod _{k=1}^K{\rho }_{nk}^{z_{nk}}$$归一化后$$q^{\star }(\mathbf{Z})=\prod _{n=1}^N\prod _{k=1}^K{r}_{nk}^{z_{nk}}$$其中$$r_{nk}=\frac{{\rho }_{nk}}{{\sum }_{j=1}^K{\rho }_{nj}}$$有$$\mathbb{E}\left[z_{nk}\right]=r_{nk}$$预先定义$$\begin{array}{rl}{N}_k& =\sum _{n=1}^N{r}_{nk}\\ {\overline{\mathbf{x}}}_k& =\frac{1}{N_k}\sum _{n=1}^N{r}_{nk}{\mathbf{x}}_n\\ {\mathbf{S}}_k& =\frac{1}{N_k}\sum _{n=1}^N{r}_{nk}\left({\mathbf{x}}_n-{\overline{\mathbf{x}}}_k\right){\left({\mathbf{x}}_n-{\overline{\mathbf{x}}}_k\right)}^{\mathrm{T}}\end{array}$$考虑第二个因子$q(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })$，$$\begin{array}{c}\ln q^{\star }(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })=\ln p(\mathbf{\pi })+{\sum }_{k=1}^K\ln p\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)+{\mathbb{E}}_{\mathbf{Z}}[\ln p(\mathbf{Z}|\mathbf{\pi })]+{\sum }_{k=1}^K{\sum }_{n=1}^N\mathbb{E}\left[z_{nk}\right]\ln \mathcal{N}\left({\mathbf{x}}_n|{\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k^{-1}\right)+\text{ const. }\end{array}$$可以看到一些项只与$\mathbf{\pi }$有关，有些与$\mathbf{\mu },\mathbf{\Lambda }$有关，说明可以将该因子进一步分解为$q(\mathbf{\pi })q(\mathbf{\mu },\mathbf{\Lambda })$，$$q(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })=q(\mathbf{\pi })\prod _{k=1}^{K}q\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)$$从而可得$$\ln q^{\star }(\mathbf{\pi })=\left({\alpha }_0-1\right)\sum _{k=1}^K\ln {\pi }_k+\sum _{k=1}^K\sum _{n=1}^N{r}_{nk}\ln {\pi }_k+\text{ const }$$整理后$$q^{\star }(\mathbf{\pi })=\mathrm{Dir}(\mathbf{\pi }|\mathbf{\alpha })$$其中$${\alpha }_k={\alpha }_0+N_k$$最后，变分后验概率分布$q^{\star }\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)$⽆法分解成边缘概率分布的乘积，但是我们总可以使⽤概率的乘积规则，将其写成$q^{\star }\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)=q^{\star }\left({\mathbf{\mu }}_k|{\mathbf{\Lambda }}_k\right)q^{\star }\left({\mathbf{\Lambda }}_k\right)$。跟预期地一样$$q^{\star }\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)=\mathcal{N}\left({\mathbf{\mu }}_k|{\mathbf{m}}_k,{\left({\beta }_k{\mathbf{\Lambda }}_k\right)}^{-1}\right)\mathcal{W}\left({\mathbf{\Lambda }}_k|{\mathbf{W}}_k,{\nu }_k\right)$$其中$$\begin{array}{rl}{\beta }_k& ={\beta }_0+N_k\\ {\mathbf{m}}_k& =\frac{1}{{\beta }_k}\left({\beta }_0{\mathbf{m}}_0+N_k{\overline{\mathbf{x}}}_k\right)\\ {\mathbf{W}}_k^{-1}& ={\mathbf{W}}_0^{-1}+N_k{\mathbf{S}}_k+\frac{{\beta }_0{N}_k}{{\beta }_0+N_k}\left({\overline{\mathbf{x}}}_k-{\mathbf{m}}_0\right){\left({\overline{\mathbf{x}}}_k-{\mathbf{m}}_0\right)}^{\mathrm{T}}\\ {\nu }_k& ={\nu }_0+N_k\end{array}$$之前在使用“责任”${\mathbf{r}}_{nk}$，又涉及计算$$\begin{array}{rl}{\mathbb{E}}_{{\mu }_k,{\Lambda }_k}\left[{\left({\mathbf{x}}_n-{\mathbf{\mu }}_k\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_k\left({\mathbf{x}}_n-{\mathbf{\mu }}_k\right)\right]& \\ =& D{\beta }_k^{-1}+{\nu }_k{\left({\mathbf{x}}_n-{\mathbf{m}}_k\right)}^{\mathrm{T}}{\mathbf{W}}_k\left({\mathbf{x}}_n-{\mathbf{m}}_k\right)\\ \ln {\Lambda }_k\equiv \mathbb{E}\left[\ln \left|{\mathbf{\Lambda }}_k\right|\right]=\sum _{i=1}^D\psi \left(\frac{{\nu }_k+1-i}{2}\right)+D\ln 2+\ln \left|{\mathbf{W}}_k\right|& \\ \ln {\pi }_k\equiv \mathbb{E}\left[\ln {\pi }_k\right]=\psi \left({\alpha }_k\right)-\psi (\alpha )& \end{array}$$这两部分是相互耦合的，当把上面的再代入${\mathbf{r}}_{nk}$$$r_{nk}\propto {\pi }_k{\Lambda }_k^{1/2}\exp \left\{-\frac{D}{2{\beta }_k}-\frac{{\nu }_k}{2}{\left({\mathbf{x}}_n-{\mathbf{m}}_k\right)}^{\mathrm{T}}{\mathbf{W}}_k\left({\mathbf{x}}_n-{\mathbf{m}}_k\right)\right\}$$在最大似然EM中，有$$r_{nk}\propto {\pi }_k{\left|{\mathbf{\Lambda }}_k\right|}^{1/2}\exp \left\{-\frac{1}{2}{\left({\mathbf{x}}_n-{\mathbf{\mu }}_k\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_k\left({\mathbf{x}}_n-{\mathbf{\mu }}_k\right)\right\}$$可以发现变分贝叶斯也是两个步迭代优化。

可以发现优化后，并不会出现GMM的奇点。我们看到，在收敛之后，只有两个分量的混合系数的期望值可以与它们的先验值（先验设置为一个很小的数）区分开。这种效果可以根据贝叶斯模型中数据拟合与模型复杂度之间的折中来定性地理解。这种模型中的复杂度惩罚的来源是参数被推离了它们的先验值。对于解释数据点没有作⽤的分量满⾜$r_{nk}\simeq 0$，从而$N_k\simeq 0$，那么有些退化为先验值${\alpha }_k\simeq {\alpha }_0$。原则上，这些分量会微⼩地适应于数据点，但是对于⼀⼤类先验分布来说，这种微⼩的调整的效果太⼩了，以⾄于⽆法在数值上看出来。对于⾼斯混合模型，后验概率分布中的混合系数的期望值为$$\mathbb{E}\left[{\pi }_k\right]=\frac{{\alpha }_k+N_k}{K{\alpha }_0+N}$$考虑某个退化的分量$N_k\simeq 0$ and ${\alpha }_k\simeq {\alpha }_0$，当${\alpha }_0\to 0,$ then $\mathbb{E}\left[{\pi }_k\right]\to 0$，此时该分量就不起作用，而${\alpha }_0\to \infty ,$ then $\mathbb{E}\left[{\pi }_k\right]\to 1/K$。之前狄利克雷分布的参数表示，当越小，则倾向让某些分量为0，从而本实验设置为${\alpha }_0=10^{-3}$。

10.2.2 Variational lower bound

在实际应⽤中，能够在重新估计期间监视模型的下界是很有⽤的，这可以⽤来检测是否收敛。它也可以为解的数学表达式和它们的软件执⾏提供⼀个有价值的检查，因为在迭代重新估计的每个步骤中，这个下界的值应该不会减⼩。我们可以进⼀步地使⽤变分下界检查更新⽅程的数学推导和它们的软件执⾏的正确性，⽅法是使⽤有限差来检查每次更新确实给出了下界的⼀个（具有限制条件的）极⼤值。$$\begin{array}{rl}\mathcal{L}=& \sum _{\mathbf{Z}}\iiint q(\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })\ln \left\{\frac{p(\mathbf{X},\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })}{q(\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })}\right\}\mathrm{d}\mathbf{\pi }\mathrm{d}\mathbf{\mu }\mathrm{d}\mathbf{\Lambda }\\ =& \mathbb{E}[\ln p(\mathbf{X},\mathbf{Z},\mathbf{\mu },\mathbf{\mu },\mathbf{\Lambda })]-\mathbb{E}[\ln q(\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })]\\ =& \mathbb{E}[\ln p(\mathbf{X}|\mathbf{Z},\mathbf{\mu },\mathbf{\Lambda })]+\mathbb{E}[\ln p(\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })]\\ & -\mathbb{E}[\ln q(\mathbf{Z})]-\mathbb{E}[\ln q(\mathbf{\pi })]-\mathbb{E}[\ln q(\mathbf{\mu },\mathbf{\Lambda })]\end{array}$$
对于这些期望，由于模型有共轭先验，因此变分后验分布的函数形式是已知的。通过使⽤这些分布的⼀般的参数形式，我们可以推导出下界的形式，将下界作为概率分布的参数的函数。关于这些参数最⼤化下界就会得到所需的重估计⽅程。

10.2.3 Predictive density

为了得到预测分布，即预测$\mathbf{x}$，$$p(\mathbf{x}|\mathbf{X})=\sum _{\hat{\mathbf{z}}}\iiint p(\mathbf{x}|\mathbf{z},\mathbf{\mu },\mathbf{\Lambda })p(\mathbf{z}|\mathbf{\pi })p(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda }|\mathbf{X})\mathrm{d}\mathbf{\pi }\mathrm{d}\mathbf{\mu }\mathrm{d}\mathbf{\Lambda }$$其中$p(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda }|\mathbf{X})$是未知的真实后验分布，$$p(\mathbf{x}|\mathbf{X})=\sum _{k=1}^K\iiint {\pi }_k\mathcal{N}\left(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k^{-1}\right)p(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda }|\mathbf{X})\mathrm{d}\mathbf{\pi }\mathrm{d}\mathbf{\mu }\mathrm{d}\mathbf{\Lambda }$$可以将真实后验用变分后验代替$$p(\mathbf{x}|\mathbf{X})=\sum _{k=1}^K\iiint {\pi }_k\mathcal{N}\left(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k^{-1}\right)q(\mathbf{\pi })q\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)\mathrm{d}\mathbf{\pi }\mathrm{d}{\mathbf{\mu }}_k\mathrm{d}{\mathbf{\Lambda }}_k$$从而可得一个student分布$$p(\mathbf{x}|\mathbf{X})=\frac{1}{\alpha }\sum _{k=1}^K{\alpha }_k\mathrm{St}\left(\mathbf{x}|{\mathbf{m}}_k,{\mathbf{L}}_k,{\nu }_k+1-D\right)$$其中$${\mathbf{L}}_k=\frac{\left({\nu }_k+1-D\right){\beta }_k}{\left(1+{\beta }_k\right)}{\mathbf{W}}_k$$

10.2.4 Determining the number of components

10.2.5 Induced factorizations

再推导变分更新时，一开始仅仅考虑$$q(\mathbf{Z},\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })=q(\mathbf{Z})q(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })$$但是最优的结果又推导出一些新的分解$$q(\mathbf{\pi },\mathbf{\mu },\mathbf{\Lambda })=q(\mathbf{\pi })\prod _{k=1}^{K}q\left({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k\right)$$这些额外的分解的产⽣原因是假定的分解⽅式与真实分布的条件独⽴性质相互作⽤的结果，正如图模型所告诉的那样

我们会把这些额外的分解⽅式成为诱导分解（induced factorizations），因为它们产⽣于在变分后验分布中假定的分解⽅式与真实联合概率分布的条件独⽴性质之间的相互作⽤。在变分⽅法的数值实现中，考虑这些附加的分解⽅式很重要。例如，对于⼀组变量上的⾼斯分布来说，如果分布的最优形式的精度矩阵总是对⾓矩阵（对应于关于由那个⾼斯分布独⽴描述的变量的分解⽅式），那么在计算过程中始终保留⼀个完整的精度矩阵是⼀种很低效的做法。
使⽤⼀种基于d-划分的简单的图检测⽅法，这种诱导的分解⽅式可以很容易地被检测到。我们将潜在变量划分为三个互斥的组$\mathbf{A},\mathbf{B},\mathbf{C}$，然后让我们假定我们可以在变量$\mathbf{C}$与剩余变量之间进⾏分解，即$$q(\mathbf{A},\mathbf{B},\mathbf{C})=q(\mathbf{A},\mathbf{B})q(\mathbf{C})$$则$$\begin{array}{rl}\ln q^{\star }(\mathbf{A},\mathbf{B})& ={\mathbb{E}}_{\mathbf{C}}[\ln p(\mathbf{X},\mathbf{A},\mathbf{B},\mathbf{C})]+\text{ const }\\ & ={\mathbb{E}}_{\mathbf{C}}[\ln p(\mathbf{A},\mathbf{B}|\mathbf{X},\mathbf{C})]+\text{ const }\end{array}$$那么此处我们可以考虑是否存在$q^{\star }(\mathbf{A},\mathbf{B})=q^{\star }(\mathbf{A})q^{\star }(\mathbf{B})$，这仅仅发生在$\ln p(\mathbf{A},\mathbf{B}|\mathbf{X},\mathbf{C})=\ln p(\mathbf{A}|\mathbf{X},\mathbf{C})+\ln p(\mathbf{B}|\mathbf{X},\mathbf{C})$，也就是说$$\mathbf{A}\perp \mathbf{B}|\mathbf{X},\mathbf{C}$$

10.3 Variational Linear Regression

作为变分推断的第⼆个例⼦，我们回到3.3节的贝叶斯线性回归模型中。在模型证据框架中，我们通过使⽤最⼤化似然函数的⽅法进⾏点估计，从⽽近似了在$\alpha$和$\beta$ 上的积分。⼀个纯粹的贝叶斯⽅法会对所有的超参数和参数进⾏积分。虽然精确的积分是⽆法计算的，但是我们可以使⽤变分⽅法来找到⼀个可以处理的近似。为了简化讨论，我们会假设噪声精度参数$\beta$ 已知，并且固定于它的真实值，虽然这个框架很容易扩展来包含 $\beta$ 上的概率分布。对于线性回归模型来说，可以证明变分⽅法等价于模型证据的框架。$$\begin{array}{rl}p(\mathbf{t}|\mathbf{w})& =\prod _{n=1}^N\mathcal{N}\left(t_n|{\mathbf{w}}^{\mathrm{T}}{\mathbf{\varphi }}_n,{\beta }^{-1}\right)\\ p(\mathbf{w}|\alpha )& =\mathcal{N}\left(\mathbf{w}|0,{\alpha }^{-1}\mathbf{I}\right)\end{array}$$其中${\varphi }_n=\varphi \left({\mathbf{x}}_n\right)$，取$\alpha$的共轭先验$$p(\alpha )=\mathrm{Gam}\left(\alpha |a_0,b_0\right)$$则$$p(\mathbf{t},\mathbf{w},\alpha )=p(\mathbf{t}|\mathbf{w})p(\mathbf{w}|\alpha )p(\alpha )$$

10.3.1 Variational distribution

首要目标是找到一个对后验分布$p(\mathbf{w},\alpha |\mathbf{t})$的近似，采用的变分分解为$$q(\mathbf{w},\alpha )=q(\mathbf{w})q(\alpha )$$对$\alpha$有$$\begin{array}{l}\ln q^{\star }(\alpha )=\ln p(\alpha )+{\mathbb{E}}_{\mathbf{w}}[\ln p(\mathbf{w}|\alpha )]+\text{ const }\\ =\left(a_0-1\right)\ln \alpha -b_0\alpha +\frac{M}{2}\ln \alpha -\frac{\alpha }{2}\mathbb{E}\left[{\mathbf{w}}^{\mathrm{T}}\mathbf{w}\right]+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}.\end{array}$$刚好为$$q^{\star }(\alpha )=\mathrm{Gam}\left(\alpha |a_N,b_N\right)$$其中$$\begin{array}{rl}{a}_N& =a_0+\frac{M}{2}\\ b_N& =b_0+\frac{1}{2}\mathbb{E}\left[{\mathbf{w}}^{\mathrm{T}}\mathbf{w}\right]\end{array}$$同理有$$\begin{array}{rl}\ln q^{\star }(\mathbf{w})& =\ln p(\mathbf{t}|\mathbf{w})+{\mathbb{E}}_{\alpha }[\ln p(\mathbf{w}|\alpha )]+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}\\ & =-\frac{\beta }{2}\sum _{n=1}^N{\left\{{\mathbf{w}}^{\mathrm{T}}{\mathbf{\varphi }}_n-t_n\right\}}^2-\frac{1}{2}\mathbb{E}[\alpha ]{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\text{ const }\\ & =-\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\left(\mathbb{E}[\alpha ]\mathbf{I}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\right)\mathbf{w}+\beta {\mathbf{w}}^{\mathrm{T}}{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}+\text{ const. }\end{array}$$刚好为高斯$$q^{\star }(\mathbf{w})=\mathcal{N}\left(\mathbf{w}|{\mathbf{m}}_N,{\mathbf{S}}_N\right)$$其中$$\begin{array}{rl}{\mathbf{m}}_N& =\beta {\mathbf{S}}_N{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}\\ {\mathbf{S}}_N& ={\left(\mathbb{E}[\alpha ]\mathbf{I}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\right)}^{-1}\end{array}$$注意这个结果与$\alpha$被当成固定参数时得到的后验概率分布${\mathbf{S}}_N^{-1}=\alpha \mathbf{I}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }$相似。又因$$\begin{array}{rl}\mathbb{E}[\alpha ]& =a_N/b_N\\ \mathbb{E}\left[\mathbf{w}{\mathbf{w}}^{\mathrm{T}}\right]& ={\mathbf{m}}_N{\mathbf{m}}_N^{\mathrm{T}}+{\mathbf{S}}_N\end{array}$$这样就可以迭代地更新变分后验。
当$a_0=b_0=0$时，对应于一个无限宽的$\alpha$先验，那么$$\mathbb{E}[\alpha ]=\frac{a_N}{b_N}=\frac{M/2}{\mathbb{E}\left[{\mathbf{w}}^{\mathrm{T}}\mathbf{w}\right]/2}=\frac{M}{{\mathbf{m}}_N^{\mathrm{T}}{\mathbf{m}}_N+\mathrm{Tr}\left({\mathbf{S}}_N\right)}$$变分⽅法得到的解与使⽤EM算法最⼤化模型证据函数的⽅法得到的解完全相同，唯⼀的区别是$\alpha$的点估计被替换为了它的期望值。由于分布$q(\mathbf{w})$只通过期望$\mathbb{E}[\alpha ]$对$q(\alpha )$产⽣依赖，因此我们看到这两种⽅法对于⽆限宽的先验概率分布会给出相同的结果。

10.3.2 Predictive distribution

$$\begin{array}{rl}p(t|\mathbf{x},\mathbf{t})& =\int p(t|\mathbf{x},\mathbf{w})p(\mathbf{w}|\mathbf{t})\mathrm{d}\mathbf{w}\\ & \simeq \int p(t|\mathbf{x},\mathbf{w})q(\mathbf{w})\mathrm{d}\mathbf{w}\\ & =\int \mathcal{N}\left(t|{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x}),{\beta }^{-1}\right)\mathcal{N}\left(\mathbf{w}|{\mathbf{m}}_N,{\mathbf{S}}_N\right)\mathrm{d}\mathbf{w}\\ & =\mathcal{N}\left(t|{\mathbf{m}}_N^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x}),{\sigma }^2(\mathbf{x})\right)\end{array}$$其中$${\sigma }^2(\mathbf{x})=\frac{1}{\beta }+\mathbf{\varphi }(\mathbf{x}{)}^{\mathrm{T}}{\mathbf{S}}_N\mathbf{\varphi }(\mathbf{x})$$

10.3.3 Lower bound

另⼀个很重要的量是下界$$\begin{array}{rl}\mathcal{L}(q)=& \mathbb{E}[\ln p(\mathbf{w},\alpha ,\mathbf{t})]-\mathbb{E}[\ln q(\mathbf{w},\alpha )]\\ =& {\mathbb{E}}_{\mathbf{w}}[\ln p(\mathbf{t}|\mathbf{w})]+{\mathbb{E}}_{\mathbf{w},\alpha }[\ln p(\mathbf{w}|\alpha )]+{\mathbb{E}}_{\alpha }[\ln p(\alpha )]\\ & -{\mathbb{E}}_{\alpha }[\ln q(\mathbf{w}){]}_{\mathbf{w}}-\mathbb{E}[\ln q(\alpha )]\end{array}$$使⽤之前章节得到的结果，计算各项的值是很容易的，结果为$$\begin{array}{rl}\mathbb{E}[\ln p(\mathbf{t}|\mathbf{w}){]}_{\mathbf{w}}=& \frac{N}{2}\ln \left(\frac{\beta }{2\pi }\right)-\frac{\beta }{2}{\mathbf{t}}^{\mathrm{T}}\mathbf{t}+\beta {\mathbf{m}}_N^{\mathrm{T}}{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}\\ & -\frac{\beta }{2}\mathrm{Tr}\left[{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\left({\mathbf{m}}_N{\mathbf{m}}_N^{\mathrm{T}}+{\mathbf{S}}_N\right)\right]\end{array}$$$$\begin{array}{rl}\mathbb{E}[\ln p(\mathbf{w}|\alpha ){]}_{\mathbf{w},\alpha }=& -\frac{M}{2}\ln (2\pi )+\frac{M}{2}\left(\psi \left(a_N\right)-\ln b_N\right)\\ & -\frac{a_N}{2b_N}\left[{\mathbf{m}}_N^{\mathrm{T}}{\mathbf{m}}_N+\mathrm{Tr}\left({\mathbf{S}}_N\right)\right]\end{array}$$$$\begin{array}{rl}\mathbb{E}[\ln p(\alpha ){]}_{\alpha }=& a_0\ln b_0+\left(a_0-1\right)\left[\psi \left(a_N\right)-\ln b_N\right]\\ & -b_0\frac{a_N}{b_N}-\ln \Gamma \left(a_N\right)\end{array}$$$$\begin{array}{rl}-\mathbb{E}[\ln q(\mathbf{w}){]}_{\mathbf{w}}& =\frac{1}{2}\ln \left|{\mathbf{S}}_N\right|+\frac{M}{2}[1+\ln (2\pi )]\\ -\mathbb{E}[\ln q(\alpha ){]}_{\alpha }& =\ln \Gamma \left(a_N\right)-\left(a_N-1\right)\psi \left(a_N\right)-\ln b_N+a_N\end{array}$$给出了下界$\mathcal{L}(q)$与多项式模型的阶数的关系图像，数据集是从⼀个三阶多项式中⼈⼯⽣成的。这⾥，先验参数被设置为$a_0=b_0=0$，对应于⽆信息先验$p(\alpha )\propto 1/\alpha$。根据2.3.6节的讨论，它是$ln\alpha$ 上的均匀分布。正如我们在10.1节看到的那样，$\mathcal{L}$表⽰模型的对数边缘似然函数$p(M|\mathbf{t})$的下界。因此，变分框架将最⾼的概率赋予了$M=3$的模型。这与最⼤似然的结果相反。最⼤似然⽅法通过增加模型的复杂度尽可能地让误差变⼩，直到误差趋于零，这导致了最⼤似然⽅法倾向于选择具有严重过拟合现象的模型。

10.4 Exponential Family Distributions

考虑独⽴同分布数据的情形。我们将数据的值记作$\mathbf{X}=\left\{{\mathbf{x}}_n\right\}$，其相应的隐变量为$\mathbf{Z}=\left\{{\mathbf{z}}_n\right\}$，它们为指数族分布$$p(\mathbf{X},\mathbf{Z}|\mathbf{\eta })=\prod _{n=1}^{N}h\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)g(\mathbf{\eta })\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)\right\}$$引入共轭先验$$p\left(\mathbf{\eta }|{\nu }_0,{\mathbf{\chi }}_0\right)=f\left({\nu }_0,{\mathbf{\chi }}_0\right)g(\mathbf{\eta }{)}^{{\nu }_0}\exp \left\{{\nu }_o{\mathbf{\eta }}^{\mathrm{T}}{\mathbf{\chi }}_0\right\}$$考虑变分分解为$$q(\mathbf{Z},\mathbf{\eta })=q(\mathbf{Z})q(\mathbf{\eta })$$则$$\begin{array}{rl}\ln q^{\star }(\mathbf{Z})& ={\mathbb{E}}_{\eta }[\ln p(\mathbf{X},\mathbf{Z}|\mathbf{\eta })]+\text{ const }\\ & =\sum _{n=1}^N\left\{\ln h\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)+\mathbb{E}\left[{\mathbf{\eta }}^{\mathrm{T}}\right]\mathbf{u}\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)\right\}+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}.\end{array}$$那么可以诱导分解为$q^{\star }(\mathbf{Z})={\prod }_n{q}^{\star }\left({\mathbf{z}}_n\right)$即$$q^{\star }\left({\mathbf{z}}_n\right)=h\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)g(\mathbb{E}[\mathbf{\eta }])\exp \left\{\mathbb{E}\left[{\mathbf{\eta }}^{\mathrm{T}}\right]\mathbf{u}\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)\right\}$$同样地$$\begin{array}{rl}& \ln q^{\star }(\mathbf{\eta })=\ln p\left(\mathbf{\eta }|{\nu }_0,{\mathbf{\chi }}_0\right)+{\mathbb{E}}_{\mathbf{Z}}[\ln p(\mathbf{X},\mathbf{Z}|\mathbf{\eta })]+\text{ const }\\ =& {\nu }_0\ln g(\mathbf{\eta })+{\mathbf{\eta }}^{\mathrm{T}}{\mathbf{\chi }}_0+\sum _{n=1}^N\left\{\ln g(\mathbf{\eta })+{\mathbf{\eta }}^{\mathrm{T}}{\mathbb{E}}_{{\mathbf{z}}_n}\left[\mathbf{u}\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)\right]\right\}+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}.\end{array}$$进而$$q^{\star }(\mathbf{\eta })=f\left({\nu }_N,{\mathbf{\chi }}_N\right)g(\mathbf{\eta }{)}^{{\nu }_N}\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}{\mathbf{\chi }}_N\right\}$$其中$$\begin{array}{rl}{\nu }_N& ={\nu }_0+N\\ {\chi }_N& ={\chi }_0+\sum _{n=1}^N{\mathbb{E}}_{{\mathbf{z}}_n}\left[\mathbf{u}\left({\mathbf{x}}_n,{\mathbf{z}}_n\right)\right]\end{array}$$所以可以迭代地更新这两个变分分布。

10.4.1 Variational message passing

我们通过详细讨论⼀个具体的模型来说明变分⽅法的应⽤，这个模型是⾼斯模型的贝叶斯混合。这个模型可以被表⽰为有向图。这⾥我们从更⼀般的⾓度来讨论由有向图描述的模型中对变分⽅法的使⽤，推导出⼀些具有⼴泛适⽤性的结果。
对于有向图有$$p(\mathbf{x})=\prod _{i}p\left({\mathbf{x}}_i|{\mathrm{p}\mathrm{a}}_i\right)$$其中${\mathbf{x}}_i$可能为观测变量也可能为隐变量，现在考虑一个变分近似$$q(\mathbf{x})=\prod _i{q}_i\left({\mathbf{x}}_i\right)$$注意，对于观测结点，在变分分布中没有因⼦$q_i({\mathbf{x}}_i)$。那么$$\ln q_j^{\star }\left({\mathrm{x}}_j\right)={\mathbb{E}}_{i̸=j}\left[\sum _i\ln p\left({\mathrm{x}}_i|{\mathrm{p}\mathrm{a}}_i\right)\right]+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}.$$$q_j^{\star }\left({\mathrm{x}}_j\right)$所依赖的所有结点组成的集合对应于结点${\mathbf{x}}_j$的马尔科夫毯。也就是更新某一个节点只需要进行局部的计算即可。如果我们现在确定模型的形式，其中所有的条件概率分布都有⼀个共轭-指数族的结构，那么变分推断的过程可以被转化为局部信息传递算法（Winn and Bishop, 2005）。特别地，对于⼀个特定的结点来说，⼀旦它接收到了来⾃所有的⽗结点和所有的⼦结点的信息，那么与这个结点相关联的概率分布就可以被更新。这反过来需要⼦结点从它们的同⽗结点已经接收完毕信息。下界的计算也可以得到简化，因为许多必要的值已经作为信息传递框架的⼀部分计算完毕。分布的信息传递形式有很好的缩放性质，对于⼤的⽹络很合适。

10.5. Local Variational Methods

10.1节和10.2节讨论的变分框架可以被看做“全局”⽅法。之所以这样说，是因为它直接寻找所有随机变量上的完整的后验概率分布的近似。另⼀种“局部”的⽅法涉及到寻找模型中的单独的变量或者变量组上定义的函数的界限。
对于凹函数有$$\begin{array}{rl}f(x)& =\underset{\lambda }{\max }\{\lambda x-g(\lambda )\}\\ g(\lambda )& =\underset{x}{\max }\{\lambda x-f(x)\}\end{array}$$凸函数有$$\begin{array}{rl}f(x)& =\underset{\lambda }{\min }\{\lambda x-g(\lambda )\}\\ g(\lambda )& =\end{array}$$