机器学习笔记之Sigmoid信念网络(一)对数似然梯度

引言

从本节开始，将介绍$\text{Sigmoid}$信念网络。

回顾：贝叶斯网络的因子分解

$\text{Sigmoid}$信念网络，其本质上就是 $\text{Sigmoid}$贝叶斯网络，这说明它是一个有向图模型。在概率图模型——贝叶斯网络的结构表示中介绍过，如果使用贝叶斯网络描述概率图结构，这意味着变量/特征之间存在显式的因果关系。
如果给定一个贝叶斯网络，可以根据该结构直接写出该模型的结构表示(Representation)。已知一个贝叶斯网络表示如下：
也可称作图中变量的‘联合概率分布’/‘概率密度函数’~

那么该模型中变量的联合概率分布$\mathcal{P}(\mathcal{I})$可表示为：
$i_3,i_4\mid i_2$属于同父结构，因此可以展开，而$i_5\mid i_3,i_4$属于$\mathcal{V}$型结构，无法展开。
$$\begin{array}{rl}\mathcal{P}(\mathcal{I})& =\mathcal{P}(i_1,i_2,i_3,i_4,i_5)\\ & =\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3,i_4\mid i_2)\cdot \mathcal{P}(i_5\mid i_3,i_4)\\ & =\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_2)\cdot \mathcal{P}(i_5\mid i_3,i_4)\end{array}$$

Sigmoid信念网络

单从名称中观察，信念网络指的就是贝叶斯网络；$\text{Sigmoid}$自然是指$\text{Sigmoid}$函数：
$$\sigma (x)=\frac{1}{1+\exp (-x)}$$
它的模型结构，以及模型表示是如何产生的？已知一个$\text{Sigmoid}$信念网络表示如下：

其中蓝色结点表示观测变量，蓝色虚线框中的结点表示观测变量层；同理，白色结点表示隐变量，整个隐变量包含两个隐变量层。
$\text{Neal}$在1990年提出该模型时，将玻尔兹曼机、贝叶斯网络相结合产生的模型产物。该模型的优势在于：

• $\text{Sigmoid}$信念网络是有向图模型，因此在采样过程中，根据结点之间的因果关系 可以很容易地找到采样顺序(祖先采样方法)；根节点(入度为零)开始，按照拓扑排序的顺序进行采样。
  从根节点开始采样，与根节点相连的其他结点之间属于同父结构。一旦根节点被采样(被观测)，其相连结点之间条件独立。
• 和前馈神经网络的函数逼近定理类似，如果隐藏层数量$\ge 1$层，从观测变量角度，它可以逼近任意二分类离散分布。

关于随机变量集合$\mathcal{S}$的描述如下：
$v$表示观测变量集合;$h$表示隐变量集合。
需要注意的点：

• 这里的小括号上标并非表示样本编号，而是关于层的编号。如$h_{i+1}^{(1)}$表示第$1$个隐藏层中编号$i+1$的随机变量结点。当然，推导过程中的小括号是样本编号~
• 与玻尔兹曼机、受限玻尔兹曼机相同，概率模型中的每个结点均服从‘伯努利分布’。

$$\begin{array}{rl}\mathcal{S}=\{v,h\}& =\{v^{(1)},h^{(1)},h^{(2)}\}\\ & =\{v_i^{(1)},v_{i+1}^{(1)},h_i^{(1)},h_{i+1}^{(1)},h_{i+2}^{(1)},h_j^{(2)},h_{j+1}^{(2)}\}\end{array}$$
由于这是一个贝叶斯网络，我们可以通过结点之间的因果关系描述出该图的联合概率分布：
在贝叶斯网络结构表示中介绍过,受先找到入度为零的结点，再通过拓扑排序方式寻找各结点的后验概率信息。
$$\begin{array}{rl}\mathcal{P}(\mathcal{S})& =\mathcal{P}(v_i^{(1)},v_{i+1}^{(1)},h_i^{(1)},h_{i+1}^{(1)},h_{i+2}^{(1)},h_j^{(2)},h_{j+1}^{(2)})\\ & =\mathcal{P}(h_j^{(2)})\cdot \mathcal{P}(h_{j+1}^{(2)})\cdot \mathcal{P}(h_i^{(1)}\mid h_j^{(2)},h_{j+1}^{(2)})\cdot \mathcal{P}(h_{i+1}^{(1)}\mid h_j^{(2)},h_{j+1}^{(2)})\cdot \mathcal{P}(v_i^{(1)}\mid h_i^{(1)},h_{i+1}^{(1)})\cdot \mathcal{P}(h_{i+2}^{(1)})\cdot \mathcal{P}(v_{i+1}^{(1)}\mid h_{i+1}^{(1)},h_{i+2}^{(1)})\end{array}$$
基于$\text{Sigmoid}$信念网络的定义，以$h_i^{(1)}$结点为例，它的概率分布表示如下：

• 由于$h_i^{(1)}$与$h_j^{(2)},h_{j+1}^{(2)}$存在因果关系。因此，这个‘概率分布’明显指的是条件概率分布$\mathcal{P}(h_i^{(1)}\mid h_j^{(2)},h_{j+1}^{(2)})$.
• 提醒：概率分布描述中的$h_j^{(2)},h_{j+1}^{(2)}$并不是概率分布结果，而是具体的随机变量取值：$h_j^{(2)},h_{j+1}^{(2)}\in \{0,1\}$.
• $\sigma (-x)=1-\sigma (x)$是$\text{Sigmoid}$函数自身的性质~
  $$\mathcal{P}(h_i^{(1)}\mid h_j^{(2)},h_{j+1}^{(2)})=\{\begin{array}{l}\mathcal{P}(h_i^{(1)}=1\mid h_j^{(2)},h_{j+1}^{(2)})=\sigma \left({\mathcal{W}}_{j\to i}\cdot h_j^{(2)}+{\mathcal{W}}_{j+1\to i}\cdot h_{j+1}^{(2)}\right)\\ \begin{array}{rl}\mathcal{P}(h_i^{(1)}=0\mid h_j^{(2)},h_{j+1}^{(2)})& =1-\sigma \left({\mathcal{W}}_{j\to i}\cdot h_j^{(2)}+{\mathcal{W}}_{j+1\to i}\cdot h_{j+1}^{(2)}\right)\\ & =\sigma \left[-\left({\mathcal{W}}_{j\to i}\cdot h_j^{(2)}+{\mathcal{W}}_{j+1\to i}\cdot h_{j+1}^{(2)}\right)\right]\end{array}\end{array}$$

如果将其表示成通式的话，模型中某结点$h_i$的概率分布可表示如下：
${\sum }_{j\to i}{\mathcal{W}}_{j\to i}\cdot h_j$表示模型中指向$h_i$的结点们与对应参数的线性组合结果。
$$\mathcal{P}(h_i\mid h_j;j\to i)=\{\begin{array}{l}\mathcal{P}(h_i=1\mid h_j;j\to i)=\sigma \left({\sum }_{j\to i}{\mathcal{W}}_{j\to i}\cdot h_j\right)\\ \mathcal{P}(h_i=0\mid h_j;j\to i)=\sigma \left(-{\sum }_{j\to i}{\mathcal{W}}_{j\to i}\cdot h_j\right)\end{array}$$
基于随机变量$h_i$的伯努利分布性质，将上述分段函数描述为一个公式：
$$\mathcal{P}(h_i\mid h_j;j\to i)=\sigma \left[(2h_i-1)\sum _{j\to i}{\mathcal{W}}_{j\to i}\cdot h_j\right]$$

关于$\text{Sigmoid}$信念网络的学习任务(Learning)，Neal当时提出使用MCMC采样的方式对模型参数梯度进行求解。在真实情况下，MCMC采样方式仅能对 随机变量数量较少的模型结构 进行求解。在玻尔兹曼机——基于MCMC的梯度求解中简单介绍过：首先，随着随机变量数量的增加，对应的复杂度也会指数级别地增长；其次，达到平稳分布是极困难的。

重新观察上述$\text{Sigmoid}$信念网络示例：$v_i^{(1)},v_{i+1}^{(1)}$是观测变量的随机变量信息，观测变量是样本提供的，因此和玻尔兹曼机、受限玻尔兹曼机一样，$v_i^{(1)},v_{i+1}^{(1)}$是 可观测的。以$v_i^{(1)}$为例，在$v_i^{(1)}$被观测的条件下，$h_i^{(1)},h_{i+1}^{(1)}$之间 不是条件独立关系($\mathcal{V}$型结构)，因此关于$h_i^{(1)}$或者$h_{i+1}^{(1)}$的后验概率分布无法求解。

下面将求解模型参数的对数似然梯度，观察对数似然梯度与后验概率之间存在什么关联关系。

对数似然梯度推导过程

关于某随机变量结点的后验概率分布可表示为：

• 注意，这里的$s_i$无论是观测变量，还是隐变量，都和其父节点之间存在这种关联关系。
• 为了推导过程方便，将线性计算中的偏置项$b$归纳仅$\mathcal{W}$中。
• 为了符号使用方便，将$i$改成了$k$.
  $$\{\begin{array}{l}\mathcal{P}(s_k\mid s_j;j\to k)=\sigma \left[s_k^{\ast }\cdot {\sum }_{j\to k}{\mathcal{W}}_{j\to k}\cdot s_j\right]\\ s_k^{\ast }=2s_k-1\end{array}$$

对应地，关于随机变量$\mathcal{S}$的联合概率分布通式$\mathcal{P}(\mathcal{S})$可表示为：
$$\mathcal{P}(\mathcal{S})=\prod _{s_k\in \mathcal{S}}\mathcal{P}(s_k\mid s_j;j\to k)$$
关于观测变量的对数似然(Log-Likelihood)可表示为：
这里依然需要场景构建：数据集合$\mathcal{V}$包含$|\mathcal{V}|=N$个样本$\{v^{(1)},v^{(2)},\cdots ,v^{(|\mathcal{V}|)}\}$,并且每一个样本都可看做随机变量集合(观测变量)$v$的一种具体表示。
$$\text{Log-Likelihood: }\sum _{v^{(i)}\in \mathcal{V}}\log \mathcal{P}(v^{(i)})$$
对某一权重${\mathcal{W}}_{j\to i}$的梯度可表示为：
这里的权重${\mathcal{W}}_{j\to i}$是指‘某一随机变量’$s_j$指向'随机变量'$s_i$的权重信息
∂ ∂ W j → i [ ∑ v ( i ) ∈ V log ⁡ P ( v ( i ) ) ] \frac{\partial}{\partial \mathcal W_{j \to i}} \left[\sum_{v^{(i)} \in \mathcal V}\log \mathcal P(v^{(i)})\right] ∂Wj→i​∂​ ​v(i)∈V∑​logP(v(i)) ​
根据链式求导法则，对上式进行展开：

• 使用‘牛顿-莱布尼兹公式’，将积分(连加号)与梯度符号交换位置。
• 为了后续推导方便，将对数似然梯度使用$\Delta$进行表示。
  Δ = ∂ ∂ W j → i [ ∑ v ( i ) ∈ V log ⁡ P ( v ( i ) ) ] = ∑ v ( i ) ∈ V ∂ ∂ W j → i log ⁡ P ( v ( i ) ) = ∑ v ( i ) ∈ V 1 P ( v ( i ) ) ⋅ ∂ P ( v ( i ) ) ∂ W j → i \begin{aligned} \Delta & = \frac{\partial}{\partial \mathcal W_{j \to i}} \left[\sum_{v^{(i)} \in \mathcal V}\log \mathcal P(v^{(i)})\right] \\ & = \sum_{v^{(i)} \in \mathcal V} \frac{\partial}{\partial \mathcal W_{j \to i}} \log \mathcal P(v^{(i)}) \\ & = \sum_{v^{(i)} \in \mathcal V} \frac{1}{\mathcal P(v^{(i)})} \cdot \frac{\partial \mathcal P(v^{(i)})}{\partial \mathcal W_{j \to i}} \end{aligned} Δ​=∂Wj→i​∂​ ​v(i)∈V∑​logP(v(i)) ​=v(i)∈V∑​∂Wj→i​∂​logP(v(i))=v(i)∈V∑​P(v(i))1​⋅∂Wj→i​∂P(v(i))​​

引入$v^{(i)}$对应在$\text{Sigmoid}$信念网络中的隐变量集合$h^{(i)}$：

• 这里同样使用‘牛顿-莱布尼兹公式’。
• 根据条件概率公式，将$\frac{1}{\mathcal{P}(v^{(i)})}=\frac{\mathcal{P}(h^{(i)}\mid v^{(i)})}{\mathcal{P}(v^{(i)},h^{(i)})}$代入式子中。
• 而$\mathcal{P}(v^{(i)},h^{(i)})$实际上就是某一样本的随机变量集合(隐变量、观测变量)的联合概率分布。这里对应使用符号${\mathcal{S}}^{(i)}$进行表示。
  $$\begin{array}{rl}\Delta & =\sum _{v^{(i)}\in \mathcal{V}}\frac{1}{\mathcal{P}(v^{(i)})}\cdot \frac{\partial }{\partial {\mathcal{W}}_{j\to i}}\left[\sum _{h^{(i)}}\mathcal{P}(v^{(i)},h^{(i)})\right]\\ & =\sum _{v^{(i)}\in \mathcal{V}}\sum _{h^{(i)}}\frac{1}{\mathcal{P}(v^{(i)})}\cdot \frac{\partial }{\partial {\mathcal{W}}_{j\to i}}\mathcal{P}(v^{(i)},h^{(i)})\\ & =\sum _{v^{(i)}\in \mathcal{V}}\sum _{h^{(i)}}\frac{\mathcal{P}(h^{(i)}\mid v^{(i)})}{\mathcal{P}(v^{(i)},h^{(i)})}\cdot \frac{\partial }{\partial {\mathcal{W}}_{j\to i}}\mathcal{P}(v^{(i)},h^{(i)})\\ & =\sum _{v^{(i)}\in \mathcal{V}}\sum _{h^{(i)}}\mathcal{P}(h^{(i)}\mid v^{(i)})\cdot \frac{1}{\mathcal{P}({\mathcal{S}}^{(i)})}\cdot \frac{\partial \mathcal{P}({\mathcal{S}}^{(i)})}{\partial {\mathcal{W}}_{j\to i}}\end{array}$$\

将$\mathcal{P}({\mathcal{S}}^{(i)})$使用联合概率分布通式展开，有：

• 很明显，${\mathcal{S}}^{(i)}$中有多少个随机变量，${\prod }_{s_k^{(i)}\in {\mathcal{S}}^{(i)}}\mathcal{P}(s_k^{(i)}\mid s_j^{(i)};j\to k)$中就有多少项乘法。但与${\mathcal{W}}_{j\to i}$相关的项只有$\mathcal{P}(s_i^{(i)}\mid s_j^{(i)};j\to i)$一项，其余项均可视作常数。
• 使用符号$\Omega ={\prod }_{s_k^{(i)}\ne s_i^{(i)}\in {\mathcal{S}}^{(i)}}\mathcal{P}(s_k^{(i)}\mid s_j^{(i)};j\to k)$表示除去$\mathcal{P}(s_i^{(i)}\mid s_j^{(i)};j\to i)$这一项之外的其他项的乘积。
  Δ = ∑ v ( i ) ∈ V ∑ h ( i ) P ( h ( i ) ∣ v ( i ) ) ⋅ 1 ∏ s k ( i ) ∈ S ( i ) P ( s k ( i ) ∣ s j ( i ) ; j → k ) ⋅ ∂ ∂ W j → i [ ∏ s k ( i ) ∈ S ( i ) P ( s k ( i ) ∣ s j ( i ) ; j → k ) ] = ∑ v ( i ) ∈ V ∑ h ( i ) P ( h ( i ) ∣ v ( i ) ) ⋅ 1 Ω ⋅ P ( s i ( i ) ∣ s j ( i ) ; j → i ) ⋅ [ Ω ⋅ ∂ ∂ W j → i P ( s i ( i ) ∣ s j ( i ) ; j → i ) ] = ∑ v ( i ) ∈ V ∑ h ( i ) P ( h ( i ) ∣ v ( i ) ) ⋅ 1 P ( s i ( i ) ∣ s j ( i ) ; j → i ) ⋅ [ ∂ ∂ W j → i P ( s i ( i ) ∣ s j ( i ) ; j → i ) ] \begin{aligned} \Delta & = \sum_{v^{(i)} \in \mathcal V} \sum_{h^{(i)}}\mathcal P(h^{(i)} \mid v^{(i)}) \cdot \frac{1}{\prod_{s_k^{(i)} \in \mathcal S^{(i)}}\mathcal P(s_k ^{(i)}\mid s_j^{(i)};j \to k)} \cdot \frac{\partial}{\partial \mathcal W_{j \to i}} \left[\prod_{s_k^{(i)} \in \mathcal S^{(i)}}\mathcal P(s_k^{(i)} \mid s_j^{(i)};j \to k)\right] \\ & = \sum_{v^{(i)} \in \mathcal V} \sum_{h^{(i)}}\mathcal P(h^{(i)} \mid v^{(i)}) \cdot \frac{1}{\Omega \cdot \mathcal P(s_i^{(i)} \mid s_j^{(i)};j \to i)} \cdot \left[\Omega \cdot \frac{\partial}{\partial \mathcal W_{j \to i}} \mathcal P(s_i^{(i)} \mid s_j^{(i)};j \to i)\right] \\ & = \sum_{v^{(i)} \in \mathcal V} \sum_{h^{(i)}}\mathcal P(h^{(i)} \mid v^{(i)}) \cdot \frac{1}{\mathcal P(s_i^{(i)} \mid s_j^{(i)};j \to i)} \cdot \left[ \frac{\partial}{\partial \mathcal W_{j \to i}} \mathcal P(s_i^{(i)} \mid s_j^{(i)};j \to i)\right] \end{aligned} Δ​=v(i)∈V∑​h(i)∑​P(h(i)∣v(i))⋅∏sk(i)​∈S(i)​P(sk(i)​∣sj(i)​;j→k)1​⋅∂Wj→i​∂​ ​sk(i)​∈S(i)∏​P(sk(i)​∣sj(i)​;j→k) ​=v(i)∈V∑​h(i)∑​P(h(i)∣v(i))⋅Ω⋅P(si(i)​∣sj(i)​;j→i)1​⋅[Ω⋅∂Wj→i​∂​P(si(i)​∣sj(i)​;j→i)]=v(i)∈V∑​h(i)∑​P(h(i)∣v(i))⋅P(si(i)​∣sj(i)​;j→i)1​⋅[∂Wj→i​∂​P(si(i)​∣sj(i)​;j→i)]​

至此，发现$\mathcal{P}(s_i^{(i)}\mid s_j^{(i)};j\to i)$实际上就是结点的后验概率分布。那么将$\text{Sigmoid}$代入，有：
$$\begin{array}{r}\Delta =\sum _{v^{(i)}\in \mathcal{V}}\sum _{h^{(i)}}\mathcal{P}(h^{(i)}\mid v^{(i)})\cdot \frac{1}{\sigma \left[(2s_i^{(i)}-1)\cdot {\sum }_{j\to i}{\mathcal{W}}_{j\to i}\cdot s_j^{(i)}\right]}\left\{\frac{\partial }{\partial {\mathcal{W}}_{j\to i}}\sigma \left[(2s_i^{(i)}-1)\cdot \sum _{j\to i}{\mathcal{W}}_{j\to i}\cdot s_j^{(i)}\right]\right\}\end{array}$$
依然使用链式求导法则进行求导。观察关于$\text{Sigmoid}$函数的导数：
$$\begin{array}{rl}\frac{\partial }{\partial x}\left[\sigma (x)\right]& =\frac{e^{-x}}{(1+e^{-x}{)}^2}=\frac{1}{1+e^{-x}}\cdot \frac{e^{-x}}{1+e^{-x}}\\ & =\sigma (x)\cdot \sigma (-x)\end{array}$$
那么上式$\Delta$可表示为：
同上，关于${\sum }_{j\to i}{\mathcal{W}}_{j\to i}\cdot s_j^{(i)}$对${\mathcal{W}}_{j\to i}$求解偏导，实际上只有一项与${\mathcal{W}}_{j\to i}$相关，与其他项无关，均视作常数。
p.s. 这里$j$下标还是用重复了~
$$\begin{array}{r}\Delta =\sum _{v^{(i)}\in \mathcal{V}}\sum _{h^{(i)}}\mathcal{P}(h^{(i)}\mid v^{(i)})\cdot \frac{1}{\sigma \left[(2s_i^{(i)}-1)\cdot {\sum }_{j\to i}{\mathcal{W}}_{j\to i}\cdot s_j^{(i)}\right]}\cdot \sigma \left[(2s_i^{(i)}-1)\cdot \sum _{j\to i}{\mathcal{W}}_{j\to i}\cdot s_j^{(i)}\right]\cdot \sigma \left[-(2s_i^{(i)}-1)\cdot \sum _{j\to i}{\mathcal{W}}_{j\to i}\cdot s_j^{(i)}\right]\cdot (2s_i^{(i)}-1)\cdot s_j^{(i)}\end{array}$$
该消掉的消掉，最后整理有：
∂ ∂ W j → i [ ∑ v ( i ) ∈ V log ⁡ P ( v ( i ) ) ] = ∑ v ( i ) ∈ V ∑ h ( i ) P ( h ( i ) ∣ v ( i ) ) ⋅ σ [ − ( 2 s i ( i ) − 1 ) ⋅ ∑ j → i W j → i ⋅ s j ( i ) ] ⋅ ( 2 s i ( i ) − 1 ) ⋅ s j ( i ) \begin{aligned} \frac{\partial}{\partial \mathcal W_{j \to i}} \left[\sum_{v^{(i)} \in \mathcal V}\log \mathcal P(v^{(i)})\right] & = \sum_{v^{(i)} \in \mathcal V} \sum_{h^{(i)}}\mathcal P(h^{(i)} \mid v^{(i)}) \cdot \sigma \left[- (2s_i^{(i)} - 1)\cdot \sum_{j \to i} \mathcal W_{j \to i} \cdot s_j^{(i)}\right] \cdot (2s_i^{(i)} - 1) \cdot s_j^{(i)} \\ \end{aligned} ∂Wj→i​∂​ ​v(i)∈V∑​logP(v(i)) ​​=v(i)∈V∑​h(i)∑​P(h(i)∣v(i))⋅σ[−(2si(i)​−1)⋅j→i∑​Wj→i​⋅sj(i)​]⋅(2si(i)​−1)⋅sj(i)​​

梯度求解过程中的问题

至此，观察关于${\mathcal{W}}_{j\to i}$的梯度，其中包含一个关于隐变量集合的后验概率$\mathcal{P}(h^{(i)}\mid v^{(i)})$。因为$\mathcal{V}$型结构，给定观测变量条件下，根本不是条件独立，因此没有办法对$\mathcal{P}(h^{(i)}\mid v^{(i)})$直接进行求解。

针对于小规模的随机变量集合，可以使用MCMC方法进行求解：

• 针对‘对数似然’，这里乘以一个常数$\frac{1}{N}$，之前拉下了，对梯度方向不产生影响。
• 依然是蒙特卡洛方法的逆推公式~
  ∂ ∂ W j → i [ 1 N ∑ v ( i ) ∈ V log ⁡ P ( v ( i ) ) ] = 1 N ∑ v ( i ) ∈ V E P m o d e l ( h ( i ) ∣ v ( i ) ) [ σ ( − ( 2 s i ( i ) − 1 ) ⋅ ∑ j → i W j → i ⋅ s j ( i ) ) ⋅ ( 2 s i ( i ) − 1 ) ⋅ s j ( i ) ] ≈ E P d a t a ( v ( i ) ∈ V ) { E P m o d e l ( h ( i ) ∣ v ( i ) ) [ σ ( − ( 2 s i ( i ) − 1 ) ⋅ ∑ j → i W j → i ⋅ s j ( i ) ) ⋅ ( 2 s i ( i ) − 1 ) ⋅ s j ( i ) ] } = { E P d a t a [ σ ( − ( 2 s i ( i ) − 1 ) ⋅ ∑ j → i W j → i ⋅ s j ( i ) ) ⋅ ( 2 s i ( i ) − 1 ) ⋅ s j ( i ) ] P d a t a ⇒ P d a t a ( v ( i ) ∈ V ) ⋅ P m o d e l ( h ( i ) ∣ v ( i ) ) \begin{aligned} \frac{\partial}{\partial \mathcal W_{j \to i}} \left[\frac{1}{N}\sum_{v^{(i)} \in \mathcal V}\log \mathcal P(v^{(i)})\right] & = \frac{1}{N}\sum_{v^{(i)} \in \mathcal V} \mathbb E_{\mathcal P_{model}(h^{(i)} \mid v^{(i)})} \left[\sigma \left(- (2s_i^{(i)} - 1)\cdot \sum_{j \to i} \mathcal W_{j \to i} \cdot s_j^{(i)}\right) \cdot (2s_i^{(i)} - 1) \cdot s_j^{(i)} \right] \\ & \approx \mathbb E_{\mathcal P_{data}(v^{(i)} \in \mathcal V)} \left\{\mathbb E_{\mathcal P_{model}(h^{(i)} \mid v^{(i)})} \left[\sigma \left(- (2s_i^{(i)} - 1)\cdot \sum_{j \to i} \mathcal W_{j \to i} \cdot s_j^{(i)}\right) \cdot (2s_i^{(i)} - 1) \cdot s_j^{(i)} \right]\right\} \\ & = \begin{cases} \mathbb E_{\mathcal P_{data}} \left[\sigma \left(- (2s_i^{(i)} - 1)\cdot \sum_{j \to i} \mathcal W_{j \to i} \cdot s_j^{(i)}\right) \cdot (2s_i^{(i)} - 1) \cdot s_j^{(i)}\right] \\ \mathcal P_{data} \Rightarrow \mathcal P_{data}(v^{(i)} \in \mathcal V) \cdot \mathcal P_{model}(h^{(i)} \mid v^{(i)}) \end{cases} \end{aligned} ∂Wj→i​∂​ ​N1​v(i)∈V∑​logP(v(i)) ​​=N1​v(i)∈V∑​EPmodel​(h(i)∣v(i))​[σ(−(2si(i)​−1)⋅j→i∑​Wj→i​⋅sj(i)​)⋅(2si(i)​−1)⋅sj(i)​]≈EPdata​(v(i)∈V)​{EPmodel​(h(i)∣v(i))​[σ(−(2si(i)​−1)⋅j→i∑​Wj→i​⋅sj(i)​)⋅(2si(i)​−1)⋅sj(i)​]}={EPdata​​[σ(−(2si(i)​−1)⋅∑j→i​Wj→i​⋅sj(i)​)⋅(2si(i)​−1)⋅sj(i)​]Pdata​⇒Pdata​(v(i)∈V)⋅Pmodel​(h(i)∣v(i))​​

通过观察可以发现，这种描述方式和玻尔兹曼机——基本介绍中正相部分的描述格式基本相同。如果说一句总结的话，那就是 使用传统方式求解模型参数梯度，梯度中包含隐变量的后验概率，因而没有办法直接求解。可以通过MCMC方式采样近似求解，它的弊端这里就不多说了。

下一节将介绍醒眠算法

相关参考：
(系列二十六)Sigmoid Belief Network1-背景介绍
(系列二十六)Sigmoid Belief Network2- gradient of log-likelihood
(系列二十六)Sigmoid Belief Network2- gradient of log-likelihood续