[论文笔记]GMNN图马尔可夫网络—基础：变分推断、EM

变分推断

参考：

【一文学会】变分推断及其求解方法_小明的博客-CSDN博客_变分推断

基本思路

在概率模型中，常常需要近似难以计算的概率分布，在贝叶斯统计中，所有的对于未知量的推断(inference)问题可以看做是对后验概率(posterior)的计算。而这一概率通常难以计算，可以利用MCMC马尔科夫链蒙特卡洛算法做近似，但是对于大量数据，MCMC算法计算较慢，**变分推断(Variational Inference)**提供了一种更快更简单的适用于大量数据的近似推断方法。

假定用$X=x_{1:n}$代表我们输入的观测值，$Z=z_{1:m}$代表模型中的隐藏变量，问题即为推断输入数据的后验条件概率分布$p(Z|X)$。

变分法的基本思想是将这一问题转换为优化（optimization）问题。

首先，我们提出一族关于隐藏变量的近似概率分布$Q$，我们希望从这一族分布中找到一个与真实的后验分布的KL Divergence（KL散度）最小的分布$q^{\ast }(X)$。

KL Divergence（KL散度）

是指某分布q(x)被用于近似p(x)时的信息损失。
$$D(p||q)=p(x)\sum _{x\in X}\log \frac{p(x)}{q(x)}$$
也就是说，q(x)能在多大程度上表达p(x)所包含的信息，KL散度越大，表达效果越差。

之后，我们便可以用$q^{\ast }(X)$来近似替代真实的后验分布$p(Z|X)$。因此变分推断将推断问题转化为了求极值的优化问题。而$Q$的选择决定了优化问题的难易度，变分法核心问题就是要选定这一族函数使得密度分布足够灵活可以近似$p(Z|X)$的分布，同时又使得我们可以进行高效的优化。

变分推断详述

1. 我们可以将隐藏变量$z$相对于观察量$x$的条件概率写为
   $$p(Z|X)=\frac{p(Z,X)}{p(X)}\text{\hspace{1em}(1)}$$
   其中分母是观察量的边缘分布，可以通过从联合分布中边缘化隐藏变量得到，即$p(X)=\int p(Z,X)dZ$，这个函数又被称为evidence，通常这个积分需要指数级别的时间去计算，这也是为什么推断问题常常难于处理。

2. 对于式子（1），两边取对数，并在等式右边引入Q(Z)：
   $$\ln (P(X))=\ln (P(X,Z))-\ln (P(Z|X))$$

   $$\ln (P(X))=\ln (\frac{P(X,Z)}{Q(Z)})-\ln (\frac{P(Z|X)}{Q(Z)})\text{\hspace{1em}(2)}$$

3. 在Q(Z)下对上式取期望，Q(Z)即为我们用来近似的分布：
   $$\int Q(Z)\ln (P(X))dZ=\int Q(Z)\ln (\frac{P(X,Z)}{Q(Z)})dZ-\int Q(Z)\ln (\frac{P(Z|X)}{Q(Z)})dZ\text{\hspace{1em}(3)}$$

   期望函数$\mathbb{E}$

   • 离散型随机变量x，p(x)表示取到x的概率，f(x)是x的概率密度函数，则期望函数$\mathbb{E}$：
     $$\begin{gathered} \mathbb{E}(X)=x_1\ast p(x_1)+x_2\ast p(x_2)+...+x_n\ast p(x_n) \\ =x_1\ast f(x_1)+x_2\ast f(x_2)+...+x_n\ast f(x_n) \end{gathered}$$

   • 连续性随机变量x，f(x)是x的概率密度函数，则期望函数$\mathbb{E}$：
     $$\mathbb{E}(X)=\int xf(x)dx$$

4. 等式左侧P(X)与Z无关，Q(Z)对Z的积分为1；右侧简单展开后，得到：
   $$\begin{gathered} \ln (P(X))=\int Q(Z)\ln (P(X,Z))dZ-\int Q(Z)\ln (Q(Z))dZ-\int Q(Z)\ln (\frac{P(Z|X)}{Q(Z)})dZ \\ =\int Q(Z)\ln (P(X,Z))dZ-\int Q(Z)\ln (Q(Z))dZ+\int Q(Z)\ln (\frac{Q(Z)}{P(Z|X)})dZ\text{\hspace{1em}(4)} \end{gathered}$$
   其中公式（4）左侧$\int Q(Z)\ln (P(X,Z))dZ-\int Q(Z)\ln (Q(Z))dZ$是$ELBO\mathfrak{L}(Q)$，而公式右边是$KL(Q(Z)||P(Z|X))$​。

   我们不知道样本X的真实分布，但是客观真理是不会改变的，所以P(X) 和lnP(X) 都是未知的常量。

   等式（4）的右端，ELBO是一个泛函，是Q的函数，由于KL距离是非负的，所以ELBO的上界就是lnP(X) 。
   $$\begin{gathered} \ln (P(X))\ge ELBO\mathfrak{L}(Q) \\ \ln (P(X))\ge \int Q(Z)\ln (P(X,Z))dZ-\int Q(Z)\ln (Q(Z))dZ\text{\hspace{1em}(5)} \end{gathered}$$

   我们的目标是最小化KL距离，但其中P(Z|X) 是难以得知的，但式中KL距离和ELBO是此消彼长的关系，这等价于最大化ELBO。所以我们改变优化目标为evidence lower bound（简称ELBO）：
   $$\begin{gathered} \arg \underset{Q}{\max }=\int Q(Z)\ln (P(X,Z))dZ-\int Q(Z)\ln (Q(Z))dZ \\ \arg \underset{Q}{\max }=\mathbb{E}(\ln (P(X,Z))-\mathbb{E}(\ln (Q(Z))\text{\hspace{1em}(6)} \end{gathered}$$