机器学习笔记之玻尔兹曼机(三)梯度求解(基于平均场理论的变分推断)

引言

上一节介绍了使用马尔可夫链蒙特卡洛方法(MCMC)处理波尔兹曼机模型参数梯度求解过程中概率分布不可求的问题，本节将介绍变分推断方法处理梯度问题。

回顾：玻尔兹曼机模型参数梯度求解困难与MCMC方法的处理方式

相比于受限玻尔兹曼机，玻尔兹曼机对于随机变量之间关联关系的约束更加宽松，观测变量、隐变量自身之间也存在关联关系。这里以观测变量与隐变量之间关联关系的模型参数$\mathcal{W}$ 为例，关于$\mathcal{W}$的对数似然梯度(Log Likelihood Gradient)可表示为：
$${\nabla }_{\mathcal{W}}\left[\log \mathcal{P}(v^{(i)};\theta )\right]={\mathbb{E}}_{{\mathcal{P}}_{data}}\left[v^{(i)}(h^{(i)}{)}^T\right]-{\mathbb{E}}_{{\mathcal{P}}_{model}}\left[v^{(i)}(h^{(i)}{)}^T\right]$$
其中${\mathcal{P}}_{data}$表示真实分布。其底层逻辑是从客观存在的概率模型${\mathcal{P}}_{data}(\mathcal{V})$随机生成$N$个样本，构成当前的样本集合$\mathcal{V}=\{v^{(1)},v^{(2)},\cdots ,v^{(N)}\}$。

但这里的真实分布${\mathcal{P}}_{data}$和配分函数——随机最大似然正相中的${\mathcal{P}}_{data}$中存在稍许不同：

• 随机最大似然中的${\mathcal{P}}_{data}$是纯粹使用蒙特卡洛方法的逆向推导产生的分布：
  $${\mathbb{E}}_{{\mathcal{P}}_{data}}\left[{\nabla }_{\theta }\log \hat{\mathcal{P}}(x^{(i)};\theta )\right]\approx \frac{1}{N}\sum _{i=1}^N{\nabla }_{\theta }\log \hat{\mathcal{P}}(x^{(i)};\theta )$$
• 可模型参数$\mathcal{W}$(玻尔兹曼机的其他参数也是一样的)梯度的正相并不仅仅包含蒙特卡洛方法的逆向推导，还包含关于隐变量的后验概率：
  详细推导见：玻尔兹曼机——基本介绍
  $$\begin{array}{rl}\frac{1}{N}\sum _{i=1}^N\sum _{h^{(i)}}\mathcal{P}(h^{(i)}\mid v^{(i)})\left[v^{(i)}(h^{(i)}{)}^T\right]& =\frac{1}{N}\sum _{i=1}^N\left\{{\mathbb{E}}_{\mathcal{P}(h^{(i)}\mid v^{(i)})}\left[v^{(i)}(h^{(i)}{)}^T\right]\right\}\\ & \approx {\mathbb{E}}_{{\mathcal{P}}_{data}(v^{(i)}\in \mathcal{V})}\left\{{\mathbb{E}}_{\mathcal{P}(h^{(i)}\mid v^{(i)})}\left[v^{(i)}(h^{(i)}{)}^T\right]\right\}\\ & ={\mathbb{E}}_{{\mathcal{P}}_{data}}\left[v^{(i)}(h^{(i)}{)}^T\right]\\ {\mathcal{P}}_{data}\Rightarrow {\mathcal{P}}_{data}(v^{(i)}\in \mathcal{V})& \cdot {\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})\end{array}$$

从上式推导可以看出，玻尔兹曼机中无论是正相还是负相，均存在包含隐变量的概率分布：
$$\begin{array}{r}{\mathcal{P}}_{data}\Rightarrow {\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})\\ {\mathcal{P}}_{model}\Rightarrow {\mathcal{P}}_{model}(h^{(i)},v^{(i)})\end{array}$$

在玻尔兹曼机的约束条件中，无论是${\mathcal{P}}_{model}(h^{(i)},v^{(i)})$还是${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$，都是极难近似求解的。

在80年代早期，没有给出变分推断概念时，针对模型参数$\mathcal{W}$的对数似然梯度是通过吉布斯采样的方式进行求解。这种方式求解的核心思路是：针对单个变量(观测变量、隐变量)的后验概率进行表示，而不是隐变量/观测变量的后验概率。
关于单个变量后验概率的推导过程详见玻尔兹曼机——梯度求解(MCMC方法)
$$\begin{array}{r}\mathcal{P}(v_i^{(i)}\mid h^{(i)},v_{-i}^{(i)})=\{\begin{array}{l}\text{Sigmoid}\left\{{\sum }_{j=1}^{\mathcal{P}}{\mathcal{W}}_{ij}\cdot h_j^{(i)}+{\sum }_{k\ne i}^{\mathcal{D}}{\mathcal{L}}_{ik}\cdot v_k^{(i)}\right\}{v}_i^{(i)}=1\\ 1-\text{Sigmoid}\left\{{\sum }_{j=1}^{\mathcal{P}}{\mathcal{W}}_{ij}\cdot h_j^{(i)}+{\sum }_{k\ne i}^{\mathcal{D}}{\mathcal{L}}_{ik}\cdot v_k^{(i)}\right\}{v}_i^{(i)}=0\end{array}\\ \mathcal{P}(h_j^{(i)}\mid v^{(i)},h_{-j}^{(i)})=\{\begin{array}{l}\text{Sigmoid}\left\{{\sum }_{i=1}^{\mathcal{D}}{\mathcal{W}}_{ij}\cdot v_i^{(i)}+{\sum }_{m\ne j}{\mathcal{J}}_{jm}\cdot h_m^{(i)}\right\}{h}_j^{(i)}=1\\ 1-\text{Sigmoid}\left\{{\sum }_{i=1}^{\mathcal{D}}{\mathcal{W}}_{ij}\cdot v_i^{(i)}+{\sum }_{m\ne j}{\mathcal{J}}_{jm}\cdot h_m^{(i)}\right\}{h}_j^{(i)}=0\end{array}\end{array}$$

此时，上述两种概率是可求的，在吉布斯采样过程中，通过固定待采样之外的其他随机变量，针对待采样的随机变量计算概率分布，并进行采样。直到所有随机变量均采样完毕，第一次迭代结束；最终通过若干次迭代，最终达到平稳分布。

基于该分布的采样结果可以直接近似模型参数的梯度${\nabla }_{\mathcal{W}}\left[\log \mathcal{P}(v^{(i)};\theta )\right]$使之跳过对正相、负相期望的求解。
这里如果有不同理解的小伙伴，欢迎评论区一起讨论。

变分推断方法处理玻尔兹曼机对数似然梯度

该方法的核心在于使用变分推断直接近似求解后验概率${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$，从而避免原先使用MCMC采样的方式进行求解。
这种方法针对于大规模的随机变量集合，它的采样时间同样是随着随机变量数量的增加指数级别地增长。

关于正向部分${\mathcal{P}}_{data}\Rightarrow {\mathcal{P}}_{data}(v^{(i)}\in \mathcal{V})\cdot {\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$在之前的MCMC采样方法需要将${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$近似出来或者使用受限玻尔兹曼机的约束条件将${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$使用$\text{Sigmoid}$函数描述出来。本节使用基于平均场假设的变分推断(Variational Inference)对${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$进行描述。

关于${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$变分推断的核心是找到一个 合适的分布 $\mathcal{Q}(h^{(i)}\mid v^{(i)})$，使得 $\mathcal{Q}(h^{(i)}\mid v^{(i)})$近似${\mathcal{P}}_{model}(h^{(i)}\mid v^{(i)})$。而变分推断的底层逻辑依然是极大似然估计：
将$v^{(i)}$在模型中对应的隐变量$h^{(i)}$引进来。
$$\begin{gathered} \begin{array}{rl}\log \mathcal{P}(v^{(i)};\theta )& =\log \left[\frac{\mathcal{P}(v^{(i)},h^{(i)};\theta )}{\mathcal{P}(h^{(i)}\mid v^{(i)};\theta )}\right]\\ & =\log \mathcal{P}(v^{(i)},h^{(i)};\theta )-\log \mathcal{P}(h^{(i)}\mid v^{(i)};\theta )\end{array} \\ \{\begin{array}{l}\theta =\{\mathcal{W},\mathcal{L},\mathcal{J}\}\\ v^{(i)}\in \mathcal{V}=\{v^{(1)},v^{(2)},\cdots ,v^{(N)}\}\end{array} \end{gathered}$$
在此基础上，将近似分布$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$引入，其中$\varphi$表示这个近似分布的参数信息。
$$\begin{array}{rl}\log \mathcal{P}(v^{(i)};\theta )& =\left[\log \mathcal{P}(v^{(i)},h^{(i)};\theta )-\log \mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]-\left[\log \mathcal{P}(h^{(i)}\mid v^{(i)};\theta )-\log \mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\\ & =\log \left[\frac{\mathcal{P}(v^{(i)},h^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]-\log \left[\frac{\mathcal{P}(h^{(i)}\mid v^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]\end{array}$$
等式两端同时对$h^{(i)}$求解积分，由于是玻尔兹曼机，所有变量均是服从伯努利分布的离散型随机变量。因此使用${\sum }_{h^{(i)}}$~
再次强调，有负号才是$\mathcal{K}\mathcal{L}\text{ Divergence}$.
$$\begin{gathered} \begin{array}{rl}\text{Equation Left : }\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \mathcal{P}(v^{(i)};\theta )& =\log \mathcal{P}(v^{(i)};\theta )\cdot \underset{=1}{\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}=\log \mathcal{P}(v^{(i)};\theta )\end{array} \\ \begin{array}{rl}\text{Equation Right :}& \sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left\{\log \left[\frac{\mathcal{P}(v^{(i)},h^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]-\log \left[\frac{\mathcal{P}(h^{(i)}\mid v^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]\right\}\\ & =\underset{ELBO}{\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \left[\frac{\mathcal{P}(v^{(i)},h^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]}\underset{\mathcal{K}\mathcal{L}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )||\mathcal{P}(h^{(i)}\mid v^{(i)};\theta )\right]}{-\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \left[\frac{\mathcal{P}(h^{(i)}\mid v^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]}\end{array} \end{gathered}$$
至此，将证据下界(Evidence Lower Bound,ELBO)表示如下：
证据下界(ELBO)也称作$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$的变分。用$\mathcal{L}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]$符号表示。
$\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]=-{\sum }_{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$表示概率分布$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$的熵。
$$\begin{array}{rl}\text{ELBO}& =\mathcal{L}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\\ & =\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \left[\frac{\mathcal{P}(v^{(i)},h^{(i)};\theta )}{\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\right]\\ & =\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[\log \mathcal{P}(v^{(i)},h^{(i)};\theta )-\log \mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\\ & =\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \mathcal{P}(v^{(i)},h^{(i)};\theta )-\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\\ & =\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \mathcal{P}(v^{(i)},h^{(i)};\theta )+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\end{array}$$
后续的求解思路是：通过求解近似分布的参数$\varphi$，使得$\text{ELBO}$达到最大，等价于$\mathcal{K}\mathcal{L}\text{ Divergence}$趋近于$0$，最终使$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$与$\mathcal{P}(h^{(i)}\mid v^{(i)};\theta )$最近似。
至此，将求解近似分布$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$的问题转移至 求解最优参数$\hat{\varphi }$，使得$\text{ELBO}$达到最大：
$$\hat{\varphi }=\underset{\varphi }{\mathrm{argmax}}\mathcal{L}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]$$
在介绍基于平均场假设变分推断的过程中，关于$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$的平均场假设具体是将$h^{(i)}={\left(h_1^{(i)},h_2^{(i)},\cdots ,h_{\mathcal{P}}^{(i)}\right)}^T$划分成若干个相互独立的子集合。由于相互独立，因而后验概率分布可描述为各子集合后验结果的乘积形式：
由于$h^{(i)}$中一共包含$\mathcal{P}$个随机变量，这里就假设划分的子集合数量为$\mathcal{P}$，也就是每个子集合仅包含$1$个随机变量。
$$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )=\prod _{j=1}^{\mathcal{P}}\mathcal{Q}(h_j^{(i)}\mid v^{(i)};\varphi )$$
由于$h_j^{(i)}(i=1,2,\cdots ,\mathcal{P})$均服从伯努利分布，那么设定符号对概率分布$\mathcal{Q}(h_j^{(i)}\mid v^{(i)};\varphi )$进行如下表示：
$$\mathcal{Q}(h_j^{(i)}\mid v^{(i)};\varphi )=\{\begin{array}{l}\mathcal{Q}(h_j^{(i)}=1\mid v^{(i)};\varphi )={\varphi }_j\\ \mathcal{Q}(h_j^{(i)}=0\mid v^{(i)};\varphi )=1-{\varphi }_j\end{array}$$
${\varphi }_j$虽然不是参数，它只是一个描述概率的实数，但${\varphi }_j$如果已经求解，那么$\mathcal{Q}(h_j^{(i)}\mid v^{(i)};\varphi )$自然也求解了。
因此，也可以将模型参数$\varphi$看作是'包含各随机变量概率信息的集合'$\{{\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_{\mathcal{P}}\}$
至此，将变分推断的求解目标$\hat{\varphi }$分解成了$\mathcal{P}$个相互独立的概率信息${\hat{\varphi }}_j(j=1,2,\cdots ,\mathcal{P})$：
每一个${\hat{\varphi }}_j(j=1,2,\cdots ,\mathcal{P})$都要求解。
$${\hat{\varphi }}_j=\underset{{\varphi }_j}{\mathrm{argmax}}\mathcal{L}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]$$
将$\text{ELBO}$的展开式带入，并将$\mathcal{P}(v^{(i)},h^{(i)};\theta )=\frac{1}{\mathcal{Z}}\exp \left\{(v^{(i)}{)}^T\mathcal{W}\cdot h^{(i)}+\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}+\frac{1}{2}(h^{(i)}{)}^T\mathcal{J}\cdot h^{(i)}\right\}$进行展开。玻尔兹曼机——概率密度函数回顾
$\log$和$\exp$之间相互消掉了。
$$\begin{array}{rl}{\hat{\varphi }}_j& =\underset{{\varphi }_j}{\mathrm{argmax}}\left\{\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\log \mathcal{P}(v^{(i)},h^{(i)};\theta )+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\right\}\\ & =\underset{{\varphi }_j}{\mathrm{argmax}}\left\{\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[-\log \mathcal{Z}+(v^{(i)}{)}^T\mathcal{W}\cdot h^{(i)}+\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}+\frac{1}{2}(h^{(i)}{)}^T\mathcal{J}\cdot h^{(i)}\right]+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\right\}\end{array}$$
将中括号中的项分成含$h^{(i)}$和不含$h^{(i)}$的两部分：
$$\begin{gathered} \{\begin{array}{l}{\Delta }_1={\sum }_{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[-\log \mathcal{Z}+\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}\right]\\ {\Delta }_2={\sum }_{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[(v^{(i)}{)}^T\mathcal{W}\cdot h^{(i)}+\frac{1}{2}(h^{(i)}{)}^T\mathcal{J}\cdot h^{(i)}\right]\end{array} \\ \widehat{{\varphi }_j}=\underset{{\varphi }_j}{\mathrm{argmax}}\left\{{\Delta }_1+{\Delta }_2+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\right\} \end{gathered}$$
对${\Delta }_1$进行化简：
很明显，$-\log \mathcal{Z}+\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}$和$h^{(i)}$没有关联关系，可看作常数提到公式前面；${\sum }_{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$本身是‘概率密度积分’，其结果是$1$.
$$\begin{array}{rl}{\Delta }_1& =\left[-\log \mathcal{Z}+\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}\right]\underset{=1}{\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )}\\ & =-\log \mathcal{Z}+\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}\end{array}$$
与此同时，$\mathcal{Z}={\sum }_{h^{(i)},v^{(i)}}\exp \{-\mathbb{E}(v^{(i)},h^{(i)})\}$是配分函数，和${\varphi }_j$之间无关联关系(配分函数将$h^{(i)}$全部积分掉了)；并且$\frac{1}{2}(v^{(i)}{)}^T\mathcal{L}\cdot v^{(i)}$也和${\varphi }_j$之间无关联关系(${\varphi }_j$描述的是$h_j^{(i)}$的后验概率信息，而该项中并不包含隐变量)。因此，在求解最优${\hat{\varphi }}_j$过程中，${\Delta }_1$整个项全部可以省略。
$$\begin{array}{rl}\widehat{{\varphi }_j}& =\underset{{\varphi }_j}{\mathrm{argmax}}\left\{{\Delta }_2+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\right\}\end{array}$$
后续思路：既然是求解最大值，可以 将${\Delta }_2+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]$对${\varphi }_j$求解偏导数，如果偏导数存在，令其等于0，将最值求出来；如果不存在，可以使用梯度上升法去求解一个近似最优解。

将上述部分展开，分成如下三个部分：
$$\begin{array}{rl}{\Delta }_2+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]& =\sum _{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[(v^{(i)}{)}^T\mathcal{W}\cdot h^{(i)}+\frac{1}{2}(h^{(i)}{)}^T\mathcal{J}\cdot h^{(i)}\right]+\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\\ & ={\Lambda }_1+{\Lambda }_2+{\Lambda }_3\\ & \{\begin{array}{l}{\Lambda }_1={\sum }_{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[(v^{(i)}{)}^T\mathcal{W}\cdot h^{(i)}\right]\\ {\Lambda }_2=\frac{1}{2}{\sum }_{h^{(i)}}\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\left[(h^{(i)}{)}^T\mathcal{J}\cdot h^{(i)}\right]\\ {\Lambda }_3=\mathcal{H}\left[\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )\right]\end{array}\end{array}$$

• 对${\Lambda }_1$进行化简：首先将${\Lambda }_1$继续展开，将$h_j^{(i)}$表示出来：
  需要展开两个部分：将$\mathcal{Q}(h^{(i)}\mid v^{(i)};\varphi )$使用平均场假设进行展开；将矩阵乘法$(v^{(i)}{)}^T\mathcal{W}\cdot h^{(i)}$进行展开。
  $$\begin{array}{r}{\Lambda }_1=\sum _{h^{(i)}}\prod _{l=1}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )\cdot \sum _{i=1}^{\mathcal{D}}\sum _{l=1}^{\mathcal{P}}{v}_i^{(i)}\cdot {\mathcal{W}}_{il}\cdot h_l^{(i)}\end{array}$$
  可以发现，里面的项数是非常多的($\mathcal{D}\times \mathcal{P}$项，包含乘法、加法)，以第一项$v_1^{(i)}\cdot {\mathcal{W}}_{11}\cdot h_1^{(i)}$为例，观察是否能够向下化简：
  从${\prod }_{l=1}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )$中单独将$\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )$分出来;并且将${\sum }_{h_1^{(i)}}$从${\sum }_{h^{(i)}}$中分出来。
实际上，这步操作和变分推断(平均场假设)推导过程的处理方式是相同的。
  $$\begin{array}{rl}& \sum _{h^{(i)}}\prod _{l=1}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )\cdot \left[v_1^{(i)}\cdot {\mathcal{W}}_{11}\cdot h_1^{(i)}\right]\\ & =\sum _{h_1^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \left[v_1^{(i)}\cdot {\mathcal{W}}_{11}\cdot h_1^{(i)}\right]\cdot \sum _{h_2^{(i)},\cdots ,h_{\mathcal{P}}^{(i)}}\prod _{l=2}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )\\ & =\sum _{h_1^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \left[v_1^{(i)}\cdot {\mathcal{W}}_{11}\cdot h_1^{(i)}\right]\cdot \underset{=1}{\sum _{h_2^{(i)}}\mathcal{Q}(h_2^{(i)}\mid v^{(i)};\varphi )}\cdots \underset{=1}{\sum _{h_{\mathcal{P}}^{(i)}}\mathcal{Q}(h_{\mathcal{P}}^{(i)}\mid v^{(i)};\varphi )}\\ & =\sum _{h_1^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \left[v_1^{(i)}\cdot {\mathcal{W}}_{11}\cdot h_1^{(i)}\right]\end{array}$$
  由于$h_1^{(i)}$同样也是服从伯努利分布，继续将上式化简：
  $$\begin{array}{r}\mathcal{Q}(h_1^{(i)}=1\mid v^{(i)};\varphi )\cdot \left[v_1^{(i)}\cdot {\mathcal{W}}_{11}\cdot 1\right]+0={\varphi }_1\cdot v_1^{(i)}\cdot {\mathcal{W}}_{11}\end{array}$$
  其他项的处理方式均相同。至此，${\Lambda }_1$可化简为：
  一共包含$\mathcal{D}\times \mathcal{P}$项，均要进行还原。
  $${\Lambda }_1=\sum _{i=1}^{\mathcal{D}}\sum _{l=1}^{\mathcal{P}}{\varphi }_l\cdot v_i^{(i)}\cdot {\mathcal{W}}_{il}$$

• 对${\Lambda }_2$进行化简：
  关于${\Lambda }_2$的化简思路和${\Lambda }_1$是完全相同的，只不过更加复杂一些。因为包含$2$个$h$项。
  $$\begin{array}{r}{\Lambda }_2=\frac{1}{2}\sum _{h^{(i)}}\prod _{l=1}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )\cdot \sum _{j=1}^{\mathcal{P}}\sum _{l=1}^{\mathcal{P}}{h}_j^{(i)}\cdot {\mathcal{J}}_{il}\cdot h_l^{(i)}\end{array}$$
  第一种情况：$i\ne l\Rightarrow {\mathcal{J}}_{il}$不在$\mathcal{J}$的对角线上。以$h_1^{(i)}{\mathcal{J}}_{12}\cdot h_2^{(i)}$为例：
  $$\begin{array}{rl}& \frac{1}{2}\sum _{h^{(i)}}\prod _{l=1}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )\cdot \left[h_1^{(i)}\cdot {\mathcal{J}}_{12}\cdot h_2^{(i)}\right]\\ & =\frac{1}{2}\sum _{h_1^{(i)}}\sum _{h_2^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \mathcal{Q}(h_2^{(i)}\mid v^{(i)};\varphi )\cdot \left[h_1^{(i)}\cdot {\mathcal{J}}_{12}\cdot h_2^{(i)}\right]\cdot \underset{=1}{\sum _{h_3^{(i)},\cdots ,h_{\mathcal{P}}^{(i)}}\prod _{l=3}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )}\\ & =\frac{1}{2}\sum _{h_1^{(i)}}\sum _{h_2^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \mathcal{Q}(h_2^{(i)}\mid v^{(i)};\varphi )\cdot \left[h_1^{(i)}\cdot {\mathcal{J}}_{12}\cdot h_2^{(i)}\right]\end{array}$$
  此时，关于$h_1^{(i)},h_2^{(i)}$的取值一共划分为四种情况：

  • $h_1^{(i)}=0,h_2^{(i)}=0$
  • $h_1^{(i)}=1,h_2^{(i)}=0$
  • $h_1^{(i)}=0,h_2^{(i)}=1$
  • $h_1^{(i)}=1,h_2^{(i)}=1$

  但是，实际上只有$h_1^{(i)}=1,h_2^{(i)}=1$才有结果，其余结果均为0。因此$h_1^{(i)}{\mathcal{J}}_{12}\cdot h_2^{(i)}$对应的结果为：
  $$\frac{1}{2}\cdot \mathcal{Q}(h_1^{(i)}=1\mid v^{(i)};\varphi )\cdot \mathcal{Q}(h_2^{(i)}=1\mid v^{(i)};\varphi )\cdot \left[1\cdot {\mathcal{J}}_{12}\cdot 1\right]=\frac{1}{2}{\varphi }_1\cdot {\mathcal{J}}_{12}\cdot {\varphi }_2$$
  关于第一种情况的特殊性：由于参数矩阵$\mathcal{J}$本身是实对称矩阵，同样有：
  这意味着$h_1^{(i)}{\mathcal{J}}_{12}\cdot h_2^{(i)}$和$h_2^{(i)}{\mathcal{J}}_{21}\cdot h_1^{(i)}$的结果是相同的。
  $$\frac{1}{2}{\varphi }_1\cdot {\mathcal{J}}_{12}\cdot {\varphi }_2=\frac{1}{2}{\varphi }_2\cdot {\mathcal{J}}_{21}\cdot {\varphi }_1$$
  第二种情况：$i=l\Rightarrow {\mathcal{J}}_{il}$在$\mathcal{J}$的对角线上。以$h_1^{(i)}{\mathcal{J}}_{11}\cdot h_1^{(i)}$为例：
  不同于第一种情况，这里只能积分一个 ->${\sum }_{h_1^{(i)}}$
  $$\begin{array}{rl}& \frac{1}{2}\sum _{h^{(i)}}\prod _{l=1}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )\cdot \left[h_1^{(i)}\cdot {\mathcal{J}}_{11}\cdot h_1^{(i)}\right]\\ & =\frac{1}{2}\sum _{h_1^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \left[h_1^{(i)}\cdot {\mathcal{J}}_{11}\cdot h_1^{(i)}\right]\cdot \underset{=1}{\sum _{h_2^{(i)},\cdots ,h_{\mathcal{P}}^{(i)}}\prod _{l=2}^{\mathcal{P}}\mathcal{Q}(h_l^{(i)}\mid v^{(i)};\varphi )}\\ & =\frac{1}{2}\sum _{h_1^{(i)}}\mathcal{Q}(h_1^{(i)}\mid v^{(i)};\varphi )\cdot \left[h_1^{(i)}\cdot {\mathcal{J}}_{11}\cdot h_1^{(i)}\right]\end{array}$$
  和第一种情况相似，但只有两种选择：$h_1^{(i)}=1;h_1^{(i)}=0$。最终结果有：
  由于