机器学习-白板推导系列笔记（二十五）-近似推断

此文章主要是结合哔站shuhuai008大佬的白板推导视频：近似推断_31min

全部笔记的汇总贴：机器学习-白板推导系列笔记

可以参考一下花书第十九章

一、介绍

许多概率模型很难训练的原因就是很难进行推断，比如我们有一系列的可见变量$v$和一系列的隐变量$h$，推断困难通常就是指难以计算$p(h|v)$或者他的期望。所以推断的动机是推断本身就是有价值的，而且还有一些learning问题的需要。

推断是困难的（如上图，除了图2-RBM的后验是可求的，其余三个都不可求），因此我们需要追求的是近似推断。

$$推断是困难的\{\begin{array}{c}有向图：explainaway\\ \\ 无向图：mutualinteraction\end{array}$$

二、推断即优化

样本：$V=\{v\}$

log-likelihood:

$$\sum _{v\in V}\log p(v)$$

其中，

$$\begin{gathered} \log p(v)=\log \frac{p(v,h)}{p(h|v)} \\ =\log \frac{p(v,h)}{q(h|v)}\cdot \frac{q(h|v)}{p(h|v)} \\ =\log \frac{p(v,h)}{q(h|v)}+\log \frac{q(h|v)}{p(h|v)} \end{gathered}$$

等式两边乘上$q(h|v)$对$h$求积分，

$$\int q(h|v)\log p(v)dh=\int q(h|v)\log \frac{p(v,h)}{q(h|v)}dh+\int q(h|v)\log \frac{q(h|v)}{p(h|v)}dh$$
$$\begin{gathered} \log p(v)=E_{q(h|v)}\left[\log \frac{p(v,h)}{q(h|v)}\right]+KL(q(h|v)||p(h|v)) \\ =E_{q(h|v)}[\log p(v,h)-\log q(h|v)]+KL(q(h|v)||p(h|v)) \\ =\underset{ELBO=L(v,h,q)}{E_{q(h|v)}[\log p(v,h)]+H[q]}+\underset{KL(q||p)}{KL(q(h|v)||p(h|v))} \end{gathered}$$

下一章传送门：白板推导系列笔记（二十六）-sigmoid信念网络