12 VI——变分推断

12 VI——变分推断

12.1 背景介绍

变分推断的作用就是在概率图模型中进行参数估计，是参数估计的一种确定性近似的方法。下图给出了VI在机器学习中的地位：

12.2 Classical VI

12.2.1 公式导出

首先第一个问题，变分推断中的变分是什么？我们曾在EM算法的公式导出中得到过这样一个公式：
$$\log P(X)=\left({\int }_{Z}q(Z)\log \frac{P(X,Z)}{q(Z)}\mathrm{d}Z\right)+\left(-{\int }_{Z}q(Z)\log \frac{P(Z|X)}{q(Z)}\mathrm{d}Z\right)$$
其中前半部分被叫做ELBO(Evidence Lower Bound)，后半部分是KL公式，所以可以简化写成：
$$\log P(X)=\mathcal{L}(q)+KL(q||p),\mathcal{L}(q)=ELBO$$
其中的ELBO也就是EM算法中的变分。

---

变分推断的一个具体作用就是在EM算法中，通过近似推断求解出$q(z)$的分布。

若要使变分最大，自然是：$\hat{q}=arg\max \mathcal{L}(q)⟹\hat{q}\approx P(Z|X)$，但在EM算法章节中我们也说了，由于$\hat{q}=P(Z|X)$实际上大多情况都难以求解，所以需要通过别的办法实现。

而变分推断使用了Mean Theory：$q(Z)={\prod }_{i=1}^M{q}_i(Z_i)$。其中$M$表示$q(Z)$被切分成了$M$个维度，其中每个维度表示为$q_i(Z_i)$。这样通过固定$i=1,\dots ,j-1,j+1,\dots ,M$的项求出$q_j(Z_j)$，由Mean Theory定理的公式就可以求出$q(Z)$

所以下面我们来分析变分$\mathcal{L}(q)$：
$$\mathcal{L}(q)={\int }_{Z}q(Z)\log P(X,Z)\mathrm{d}Z-{\int }_{Z}q(Z)\log q(Z)\mathrm{d}Z$$
若我们将Mean Theory代入左式：

1. 可得公式：
   l e f t = ∫ Z ∏ i = 1 M q i ( Z i ) ⋅ log ⁡ P ( X , Z ) d Z = ∫ Z j q j ( Z j ) ⋅ [ ∫ Z − Z j ∏ i ≠ j M q i ( Z i ) log ⁡ P ( X , Z ) d Z − Z j ] d Z j = ∫ Z j q j ( Z j ) ⋅ E ∏ i ≠ j M q i ( Z i ) [ log ⁡ P ( X , Z ) ] d Z j \begin{align} left &= \int_Z \prod_{i=1}^M q_i(Z_i) \cdot \log P(X, Z) {\rm d}_Z \\ &= \int_{Z_j}q_j(Z_j) \cdot \left[ \int_{Z - Z_j} \prod_{i \neq j}^M q_i(Z_i) \log P(X, Z) {\rm d}_{Z-Z_j} \right] {\rm d}_{Z_j} \\ &= \int_{Z_j}q_j(Z_j) \cdot E_{\prod_{i \neq j}^M q_i(Z_i)} \left[ \log P(X, Z) \right] {\rm d}_{Z_j} \\ \end{align} left​=∫Z​i=1∏M​qi​(Zi​)⋅logP(X,Z)dZ​=∫Zj​​qj​(Zj​)⋅ ​∫Z−Zj​​i=j∏M​qi​(Zi​)logP(X,Z)dZ−Zj​​ ​dZj​​=∫Zj​​qj​(Zj​)⋅E∏i=jM​qi​(Zi​)​[logP(X,Z)]dZj​​​​

2. 此时我们强行将$E_{{\prod }_{i\ne j}^M{q}_i(Z_i)}\left[\log P(X,Z)\right]$定义为$\log \hat{P}(X,Z_j)$，就能得到：
   $$\begin{array}{r}left={\int }_{Z_j}{q}_j(Z_j)\cdot \log \hat{P}(X,Z_j){\mathrm{d}}_{Z_j}\end{array}$$

若将Mean Theory代入右式：

1. 可得公式：
   $$\begin{array}{rl}right& ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\cdot \sum _{k=1}^M\log q_k(Z_k){\mathrm{d}}_Z\\ & ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\cdot [\log q_1(Z_1)+\log q_2(Z_2)+\cdots +\log q_M(Z_M)]{\mathrm{d}}_Z\end{array}$$

2. 其中出了第$j$项，我们都固定了，可以视为常数。将第$j$项提出来可以得到：
   $$\begin{array}{rl}j-th& ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\cdot \log q_j(Z_j){\mathrm{d}}_Z\\ & ={\int }_{Z_1}{q}_1(Z_1){\mathrm{d}}_{Z_1}\cdots {\int }_{Z_j}{q}_j(Z_j)\cdot \log q_j(Z_j){\mathrm{d}}_{Z_j}\cdots {\int }_{Z_M}{q}_M(Z_M){\mathrm{d}}_{Z_M}\\ & ={\int }_{Z_j}{q}_j(Z_j)\cdot \log q_j(Z_j){\mathrm{d}}_{Z_j}\end{array}$$

3. 所以可得：
   $$\begin{array}{r}right={\int }_{Z_j}{q}_j(Z_j)\cdot \log q_j(Z_j){\mathrm{d}}_{Z_j}+C\end{array}$$

综合一下上述的公式可得：
$$\begin{array}{rl}\mathcal{L}(q)& =left-right\\ & ={\int }_{Z_j}{q}_j(Z_j)\cdot \log \hat{P}(X,Z_j){\mathrm{d}}_{Z_j}-{\int }_{Z_j}{q}_j(Z_j)\cdot \log q_j(Z_j){\mathrm{d}}_{Z_j}-C\\ & ={\int }_{Z_j}{q}_j(Z_j)\cdot \log \frac{\hat{P}(X,Z_j)}{q_j(Z_j)}{\mathrm{d}}_{Z_j}-C\\ & =-KL(\hat{P}(X,Z_j)\Vert q_j(Z_j)){\mathrm{d}}_{Z_j}-C\end{array}$$
若要得到最大的$ {\mathcal L}(q) $，可得：
$$\{\begin{array}{l}{q}_j(Z_j)=\hat{P}(X,Z_j)\\ \log \hat{P}(X,Z_j)=E_{{\prod }_{i\ne j}^M{q}_i(Z_i)}\left[\log P(X,Z)\right]\end{array}$$

12.2.2 坐标上升法

至此，我们已经得到了$q_j(Z_j)$的求解公式，接下来我们只要能求出$q_1(Z_1),\dots ,q_M(Z_M)$，就可以通过Mean Theory求解出$q(Z)$了。

我们根据上面获得的变分最大条件进行分析：
$$\log q_j(Z_j)=E_{{\prod }_{i\ne j}^M{q}_i(Z_i)}\left[\log P(X,Z)\right]$$
我们将这个条件展开可以得到：
$$\log q_j(Z_j)={\int }_{q_1}\cdots {\int }_{q_{j-1}}{\int }_{q_{j+1}}\cdots {\int }_{q_M}{q}_1,\dots ,q_{j-1},q_{j+1},\dots ,q_M\cdot \log P(X,Z)\mathrm{d}{q}_1\dots \mathrm{d}{q}_{j-1}\mathrm{d}{q}_{j+1}\dots \mathrm{d}{q}_M$$
已知该公式，我们可以采用坐标上升法迭代求解$q_1(Z_1),\dots ,q_M(Z_M)$：
$$\{\begin{array}{l}\log \widehat{q_1}(Z_1)={\int }_{q_2}\cdots {\int }_{q_M}{q}_2,\dots ,q_M\cdot \log P(X,Z)\mathrm{d}{q}_2\dots \mathrm{d}{q}_M\\ \log \widehat{q_2}(Z_2)={\int }_{\widehat{q_1}}{\int }_{q_3}\cdots {\int }_{q_M}\widehat{q_1},q_3,\dots ,q_M\cdot \log P(X,Z)\mathrm{d}\widehat{q_1}\mathrm{d}{q}_3\dots \mathrm{d}{q}_M\\ \dots \\ \log \widehat{q_M}(Z_M)={\int }_{\widehat{q_1}}\cdots {\int }_{\widehat{q_{M-1}}}\widehat{q_1},\dots ,\widehat{q_{M-1}}\cdot \log P(X,Z)\mathrm{d}\widehat{q_1}\dots \mathrm{d}\widehat{q_{M-1}}\end{array}$$
并且可以通过循环多次的迭代增加精度。

但Classical VI有缺点：

• Mean Fied的条件太强，很多模型不满足
• 若维度太高，会变成高维积分导致无法求解

12.3 SGVI——随机梯度变分推断

12.3.1 一般化MC方法

倘若我们使用$\phi$表示$q(Z)$的参数，同时下文普遍将$q(Z)$缩写为$q_{\phi }$，所以我们可以将公式写为（ELBO对于$P_{\theta }(X,Z)$和$P_{\theta }(x_i,Z)$都成立）：
$$\mathcal{L}(\phi )=ELBO=E_{q_{\phi }}\left[\log \frac{P_{\theta }(x_i,Z)}{q_{\phi }}\right]=E_{q_{\phi }}\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]$$
我们当前的目标是求解$\hat{\phi }=arg{\max }_{\phi }\mathcal{L}(\phi )$，为了求解，我们打算采用梯度上升法，而要想使用梯度上升法，就必须求解得到梯度方向${\nabla }_{\phi }\mathcal{L}(\phi )$：
$${\nabla }_{\phi }\mathcal{L}(\phi )={\nabla }_{\phi }{E}_{q_{\phi }}\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]={\nabla }_{\phi }{\int }_Z{q}_{\phi }\cdot \left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]{\mathrm{d}}_Z$$

引入梯度变换公式：
$${\nabla }_x{\int }_{z}A(x,z)\cdot B(x,z)\mathrm{d}z={\int }_z{\nabla }_{x}A(x,z)\cdot B(x,z)\mathrm{d}z+{\int }_{z}A(x,z)\cdot {\nabla }_{x}B(x,z)\mathrm{d}z$$

可得：
$${\nabla }_{\phi }\mathcal{L}(\phi )={\int }_Z{\nabla }_{\phi }{q}_{\phi }\cdot \left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]{\mathrm{d}}_Z+{\int }_Z{q}_{\phi }\cdot {\nabla }_{\phi }\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]{\mathrm{d}}_Z$$
这里主要看一下右边的公式：
$$\begin{array}{rlr}right& ={\int }_Z{q}_{\phi }\cdot {\nabla }_{\phi }\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]{\mathrm{d}}_Z& \\ & ={\int }_Z{q}_{\phi }\cdot {\nabla }_{\phi }\left[-\log q_{\phi }\right]{\mathrm{d}}_Z& ——\log P_{\theta }(x_i,Z)与\phi 无关\\ & =-{\int }_Z{\nabla }_{\phi }{q}_{\phi }{\mathrm{d}}_Z& ——{\nabla }_{\phi }\left[-\log q_{\phi }\right]=-\frac{1}{q_{\phi }}{\nabla }_{\phi }{q}_{\phi }\\ & =-{\nabla }_{\phi }{\int }_Z{q}_{\phi }{\mathrm{d}}_Z& \\ & =-{\nabla }_{\phi }1& \\ & =0& \end{array}$$
所以可以将公式继续写为：
$$\begin{array}{rlr}{\nabla }_{\phi }\mathcal{L}(\phi )& ={\int }_Z{\nabla }_{\phi }{q}_{\phi }\cdot \left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]{\mathrm{d}}_Z& \\ & ={\int }_Z{q}_{\phi }{\nabla }_{\phi }\log q_{\phi }\cdot \left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]{\mathrm{d}}_Z& ——{\nabla }_{\phi }{q}_{\phi }=q_{\phi }{\nabla }_{\phi }\log q_{\phi }\\ & =E_{q_{\phi }}\left[{\nabla }_{\phi }\log q_{\phi }\cdot \left(\log P_{\theta }(x_i,Z)-\log q_{\phi }\right)\right]& \end{array}$$

---

至此我们已经得到了公式：
$$\begin{array}{r}{\nabla }_{\phi }\mathcal{L}(\phi )=E_{q_{\phi }}\left[{\nabla }_{\phi }\log q_{\phi }\cdot \left(\log P_{\theta }(x_i,Z)-\log q_{\phi }\right)\right]\end{array}$$
通过该公式，我们就可以通过Monte Carlo方法进行采样估算：
$$Z^{(l)}\backsim q_{\phi }(Z),l\in [1,L]⟹{\nabla }_{\phi }\mathcal{L}(\phi )\approx \frac{1}{L}\sum _{l=1}^L\left[{\nabla }_{\phi }\log q_{\phi }(Z^{(l)})\cdot \left(\log P_{\theta }(x_i,Z^{(l)})-\log q_{\phi }(Z^{(l)})\right)\right]$$
但这个采样方法无法使用，因为${\nabla }_{\phi }\log q_{\phi }(Z^{(l)})$在$(0,1)$的区间内波动太大（$\log 在(0,1)$中的取值范围太大），导致单次样本解的方差太大。若要解决就要增加采样的数据了，但这又太浪费时间，不满足现实应用。

12.3.2 降方差——Variance Reduction

为了降低方差，这里要用到重新参数化技巧（Reparametrization Trick）：通过对随机化参数的重构，降低当前公式的求解方差。

由于当前的参数是$Z\backsim q_{\phi }(Z|x_i)$​，为了将参数转换为方差没有那么大的参数，我们假设：
$$Z\backsim g_{\phi }(\epsilon |x_i),\epsilon \backsim p(\epsilon )$$
通过上述方法，将Z随机样本的身份给了$\epsilon$，这样可以通过创建${\epsilon }^{(l)}$求出$Z$，所以现在我们已知新旧的两个分布：$\{\begin{array}{l}z\backsim q_{\phi }(Z|x_i)\\ \epsilon \backsim p(\epsilon )\end{array}$，这两个分布是通过$g_{\phi }$转换，可以得到$|q_{\phi }(Z|x_i)\mathrm{d}z|=|p(\epsilon )\mathrm{d}\epsilon |$（我也不知道为啥）。

所以我们可以得到以下推导：
$$\begin{array}{rlr}{\nabla }_{\phi }\mathcal{L}(\phi )& ={\nabla }_{\phi }{\int }_Z\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]\cdot q_{\phi }{\mathrm{d}}_Z& \\ & ={\nabla }_{\phi }{\int }_Z\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]\cdot p(\epsilon )\mathrm{d}\epsilon & \\ & ={\nabla }_{\phi }{E}_{p(\epsilon )}\left[\log P_{\theta }(x_i,Z)-\log q_{\phi }\right]& \\ & =E_{p(\epsilon )}\left[{\nabla }_{\phi }(\log P_{\theta }(x_i,Z)-\log q_{\phi })\right]& ——{\nabla }_{\phi }与p(\epsilon )无关\\ & =E_{p(\epsilon )}\left[{\nabla }_Z(\log P_{\theta }(x_i,Z)-\log q_{\phi })\cdot {\nabla }_{\phi }{g}_{\phi }(\epsilon |x_i)\right]& ——变量转换方法\end{array}$$

---

通过以上变换我们得到了新的采样对象：
$$\begin{array}{r}{\nabla }_{\phi }\mathcal{L}(\phi )=E_{p(\epsilon )}\left[{\nabla }_Z(\log P_{\theta }(x_i,Z)-\log q_{\phi }(Z|x_i))\cdot {\nabla }_{\phi }{g}_{\phi }(\epsilon |x_i)\right]\end{array}$$
若通过MC对以下对象进行采样，就不会有问题：
$${\epsilon }^{(l)}\backsim p(\epsilon ),l\in [1,L]⟹{\nabla }_{\phi }\mathcal{L}(\phi )\approx \frac{1}{L}\sum _{l=1}^L\left[{\nabla }_Z(\log P_{\theta }(x_i,Z)-\log q_{\phi }(Z|x_i))\cdot {\nabla }_{\phi }{g}_{\phi }(\epsilon |x_i)\right]$$
公式中的$Z$都可以通过$g_{\phi }(\epsilon |x_i)$求得。

所以SGVI的核心方式还是通过梯度上升的方式进行迭代，但要使用参数重构方法降低计算难度：
$$\phi =\phi +Step\cdot {\nabla }_{\phi }\mathcal{L}(\phi )$$