变分推理(Variational Inference)

给定网络参数 $\mathbf{\omega }$, 训练数据集 $\mathbf{D}=(\mathbf{X},\mathbf{Y})$, 贝叶斯推断是将网络参数 $\mathbf{\omega }$ 建模为一个符合某种分布的随机变量而不是确定的值，故给定测试数据 ${\mathbf{x}}^{\ast }$, 贝叶斯网络求取对应预测值${\mathbf{y}}^{\ast }$ 的公式为：
$$p\left({\mathbf{y}}^{\ast }\mid {\mathbf{x}}^{\ast },\mathbf{X},\mathbf{Y}\right)=\int p\left({\mathbf{y}}^{\ast }\mid {\mathbf{x}}^{\ast },\mathbf{\omega }\right)p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y})\mathrm{d}\mathbf{\omega }$$ 上式中$p\left({\mathbf{y}}^{\ast }\mid {\mathbf{x}}^{\ast },\mathbf{\omega }\right)$ 为网络输出，需要求的是 $p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y})$，但是这个不存在解析解，所以便引入了变分推理来近似，用 $q(\mathbf{\omega })$ 来近似 $p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y})$，所以目标函数可以指定为最小化 $q(\mathbf{\omega })$ 和 $p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y})$ 之间的差异，即最小化：$\mathrm{KL}(q(\mathbf{\omega })\mid p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y}))$。
又因为：
$$\begin{array}{rl}\mathrm{KL}(q(\mathbf{\omega })\mid p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y}))& =\int q(\mathbf{\omega })\log \frac{q(\mathbf{\omega })}{p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y})}\mathrm{d}\mathbf{\omega }\\ & =\int q(\mathbf{\omega })\log q(\mathbf{\omega })\mathrm{d}\mathbf{\omega }-\int q(\mathbf{\omega })\log p(\mathbf{\omega }\mid \mathbf{X},\mathbf{Y})\mathrm{d}\mathbf{\omega }\\ & =\int q(\mathbf{\omega })\log q(\mathbf{\omega })\mathrm{d}\mathbf{\omega }-\int q(\mathbf{\omega })\log \frac{p(\mathbf{Y}\mid \mathbf{X},\mathbf{\omega })p(\mathbf{X})p(\mathbf{\omega })}{p(\mathbf{X},\mathbf{Y})}\mathrm{d}\mathbf{\omega }\\ & =\mathrm{KL}(q(\mathbf{\omega })\mid p(\mathbf{\omega }))-\int q(\mathbf{\omega })\log p(\mathbf{Y}\mid \mathbf{X},\mathbf{\omega })\mathrm{d}\mathbf{\omega }-p(\mathbf{X})+p(\mathbf{X},\mathbf{Y})\end{array}$$ 所以优化目标变为最小化：
$$\mathrm{KL}(q(\mathbf{\omega })\mid p(\mathbf{\omega }))-\int q(\mathbf{\omega })\log p(\mathbf{Y}\mid \mathbf{X},\mathbf{\omega })\mathrm{d}\mathbf{\omega }$$ 上式为 Evidence Lower Bound (ELBO) 的负数形式，一般是最大化 ELBO