21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机

21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机

21.1 背景介绍

什么是玻尔兹曼机：

• 简单来说就是具有条件的Markov Random Field（一个无向图模型）
• 什么条件呢？加入了隐状态——使得无向图的节点分成两类：观测变量（observed variable）、隐变量（hidden variable）

对于一个无向图来说最重要的就是因子分解，所以玻尔兹曼机自然也可以：

• Markov Random Field的因子分解基于Hammersley Clifford Theorem——通过最大团分解图：
  $$P(X)=\frac{1}{Z}\prod _{i=1}^K{\phi }_i(X_{C_i})$$
  其中$C_i$表示最大团，${\phi }_i(X_{C_i})$表示势函数（potential function），$Z$​表示归一化因子（配分函数-partition function），并且包含以下条件：
  $$\{\begin{array}{l}{\phi }_i(X_{C_i})=\exp \{-E(X_{C_i})\}>0\\ Z={\sum }_X{\prod }_{i=1}^K{\phi }_i(X_{C_i})={\sum }_{x_1}{\sum }_{x_2}\cdots {\sum }_{x_p}{\prod }_{i=1}^K{\phi }_i(X_{C_i})\end{array}$$
  其中$E$表示能量函数（Energy function），所以因子分解的公式也可以写成：
  $$P(X)=\frac{1}{Z}\exp \{-\sum _{i=1}^{K}E(X_{C_i})\}$$

• 将因子分解的${\sum }_{i=1}^{K}E(X_{C_i})$整合起来可以写作：
  $$P(X)=\frac{1}{Z}\exp \{-E(X)\}$$
  这个公式也可以叫做玻尔兹曼分布（Boltzmann Distribution）或是吉布斯分布（Gibbs Distribution）

21.2 RBM模型表示

我们先给玻尔兹曼机的数据做一些定义：

• 数据集（节点）表示为$X=\{x_1,x_2,\dots ,x_p\}=\{h,v\}$
• 定义hidden node为$H=\{h_1,h_2,\dots ,x_m\}$，observed node为$V=\{v_1,v_2,\dots ,v_n\}$，并且有$m+n=p$

我们先要知道玻尔兹曼机是什么，然后知道为什么要引入受限玻尔兹曼机：

• 玻尔兹曼机就是一个有两种节点的无向图，但他有个问题，就是很难计算Inference。精确推断是intractable问题无法计算，近似推断通过MC的计算量也非常大。
• 为了简化，我们定义了Restricted Boltzmann Machine，在图上的特点是：$h,v$之间有连接，$h,v$内部无连接。如图所示，这样可以减少很多计算量：
  

既然以及知道受限玻尔兹曼机是一个什么样的形式了，我们就可以推导他的公式了：

1. 通过因子图的思想，我们可以将图的关系分成三部分：与observe node相关(用$\alpha$表示参数)、与hidden node相关(用$\beta$表示参数)、与两种节点都相关的边(用$W$表示参数)

2. 将已知条件都表示为矩阵形式：
   X = ( x 1 x 2 … x p ) = ( H V ) , H = ( h 1 h 2 … h m ) , V = ( v 1 v 2 … v m ) , p = m + n X = \begin{pmatrix} x_1 \\ x_2 \\ \dots \\ x_p \end{pmatrix} = \begin{pmatrix} H \\ V \\ \end{pmatrix} , \quad H = \begin{pmatrix} h_1 \\ h_2 \\ \dots \\ h_m \end{pmatrix} , \quad V = \begin{pmatrix} v_1 \\ v_2 \\ \dots \\ v_m \end{pmatrix}, \quad p=m+n X= ​x1​x2​…xp​​ ​=(HV​),H= ​h1​h2​…hm​​ ​,V= ​v1​v2​…vm​​ ​,p=m+n

3. 根据上述两个条件，我们可以归纳为下面的公式：
   $$\{\begin{array}{l}P(X)=P(V,H)=\frac{1}{Z}\exp \{-E(V,H)\}=\frac{1}{Z}\exp \{H^{T}WV+{\alpha }^{T}V+{\beta }^{T}H\}\\ E(V,H)=-(H^{T}WV+{\alpha }^{T}V+{\beta }^{T}H)\end{array}$$
   我们通过相关关系，并加入参数可以得到该公式。

4. 下面我们对上面的公式做一定的简化：
   $$\begin{array}{rl}P(V,H)& =\frac{1}{Z}\exp \{H^{T}WV+{\alpha }^{T}V+{\beta }^{T}H\}\\ & =\frac{1}{Z}\exp \{H^{T}WV\}\cdot \exp \{{\alpha }^{T}V\}\cdot \exp \{{\beta }^{T}H\}\\ & =\frac{1}{Z}\prod _{i=1}^m\prod _{j=1}^n\exp \{h_i{w}_{ij}{v}_j\}\cdot \prod _{j=1}^n\exp \{{\alpha }_j{v}_j\}\cdot \prod _{i=1}^m\exp \{{\beta }_i{h}_i\}\end{array}$$

所以我们最后可以将RBM的pdf写成：
$$\begin{array}{r}P(V,H)=\frac{1}{Z}\prod _{i=1}^m\prod _{j=1}^n\exp \{h_i{w}_{ij}{v}_j\}\cdot \prod _{j=1}^n\exp \{{\alpha }_j{v}_j\}\cdot \prod _{i=1}^m\exp \{{\beta }_i{h}_i\}\end{array}$$

21.3 Inference问题

RBM的Inference就是求解后验$P(H|V),P(V|H)$，求解可以通过模型的条件独立性得出公式。

首先我们整理一下RBM已有的条件：

1. 数据：
   X = ( x 1 x 2 … x p ) = ( H V ) , H = ( h 1 h 2 … h m ) , V = ( v 1 v 2 … v m ) , p = m + n X = \begin{pmatrix} x_1 \\ x_2 \\ \dots \\ x_p \end{pmatrix} = \begin{pmatrix} H \\ V \\ \end{pmatrix} , \quad H = \begin{pmatrix} h_1 \\ h_2 \\ \dots \\ h_m \end{pmatrix} , \quad V = \begin{pmatrix} v_1 \\ v_2 \\ \dots \\ v_m \end{pmatrix}, \quad p=m+n X= ​x1​x2​…xp​​ ​=(HV​),H= ​h1​h2​…hm​​ ​,V= ​v1​v2​…vm​​ ​,p=m+n

2. 图形：
   

3. 公式：
   $$\{\begin{array}{l}P(V,H)=\frac{1}{Z}\exp \{-E(V,H)\}\\ E(V,H)=-({\sum }_{i=1}^m{\sum }_{j=1}^n{h}_i{w}_{ij}{v}_j+{\sum }_{j=1}^n{\alpha }_j{v}_j+{\sum }_{i=1}^m{\beta }_i{h}_i)\end{array}$$

4. 假设：$h_i$此时为0/1变量

通过上述条件求解$P(H|V)$（$P(V|H)$同理可得）：

1. 根据RBM模型中给定的条件独立性——$h,v$之间有连接，$h,v$内部无连接。可得$h_i\perp h_j{|}_{i\ne j}V$​，此时再根据贝叶斯定理可得：
   $$\begin{array}{rl}P(H|V)& =\prod _{l=1}^{m}P(h_l|V)=\prod _{l=1}^{m}P(h_l|h_{-l},V)=\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{P(h_{-l},V)}=\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{P(h_{-l},V)}\\ & =\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{{\sum }_{h_l}P(h_l,h_{-l},V)}=\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{P(h_l=0,h_{-l},V)+P(h_l=1,h_{-l},V)}\end{array}$$

2. 由于此时$h_l$为已知条件，分子和分母都要通过公式$P(V,H)=\frac{1}{Z}\exp \{-E(V,H)\}$进行计算，所以我们将$E(V,H)$进行一个变换，将包含$h_l$项的函数定义为$H_l$，不包含$h_l$项的函数定义为${\bar{H}}_l$​：
   $$\begin{array}{rl}E(H|V)& =-(\sum _{i=1}^m\sum _{j=1}^n{h}_{i}W{v}_j+\sum _{j=1}^n{\alpha }^T{v}_j+\sum _{i=1}^m{\beta }^T{h}_i)\\ & =-(\sum _{i=1,i\ne l}^m\sum _{j=1}^n{h}_i{w}_{ij}{v}_j+\underline{h_l\sum _{j=1}^n{W}_{lj}{v}_j}+\sum _{j=1}^n{\alpha }_j{v}_j+\sum _{i=1,i\ne l}^m{\beta }_i{h}_i+\underline{{\beta }_l{h}_l})\end{array}$$

3. 根据简化，我们发现只有下划线的部分与$h_l$相关，其他与$h_l$​无关。所以我们可以将公式整理为：
   $$\{\begin{array}{l}E(V,H)=-(h_l{H}_l(v)+{\bar{H}}_l(h_{-l},v))\\ H_l(v)={\sum }_{j=1}^n{W}_{lj}{v}_j+{\beta }_l\\ {\bar{H}}_l(h_{-l},v)={\sum }_{i=1,i\ne l}^m{\sum }_{j=1}^n{h}_i{w}_{ij}{v}_j+{\sum }_{j=1}^n{\alpha }_j{v}_j+{\sum }_{i=1,i\ne l}^m{\beta }_i{h}_i\end{array}$$

4. 我们原本的目标是求解$P(H|V)$，在前面的公式中我们知道他可以拆分开，所以我们现在只要求解出$P(h_l|V)$就可以求出$P(H|V)$。假定我们现在要求的状态为$P(h_l=1|V)$，我们可以将上面的公式归结为下列公式：
   $$\{\begin{array}{l}P(h_l=1|V)=\frac{P(h_l=1,h_{-l},V)}{P(h_l=0,h_{-l},V)+P(h_l=1,h_{-l},V)}\\ E(V,H)=-(h_l{H}_l(v)+{\bar{H}}_l(h_{-l},v))\end{array}$$

5. 最后我们就可以将公式化简为：
   $$\begin{array}{rl}P(h_l=1|V)& =\frac{P(h_l=1,h_{-l},V)}{P(h_l=0,h_{-l},V)+P(h_l=1,h_{-l},V)}\\ & =\frac{\frac{1}{Z}\exp \{1\cdot H_l(v)+{\bar{H}}_l(h_{-l},v)\}}{\frac{1}{Z}\exp \{0\cdot H_l(v)+{\bar{H}}_l(h_{-l},v)\}+\frac{1}{Z}\exp \{1\cdot H_l(v)+{\bar{H}}_l(h_{-l},v)\}}\\ & =\frac{\exp \{H_l(v)+{\bar{H}}_l(h_{-l},v)\}}{\exp \{{\bar{H}}_l(h_{-l},v)\}+\exp \{H_l(v)+{\bar{H}}_l(h_{-l},v)\}}\\ & =\frac{1}{1+\exp \{-H_l(v)\}}=sigmoid(H_l(v))=sigmoid(\sum _{j=1}^n{W}_{lj}{v}_j+{\beta }_l)\end{array}$$

21.4 Marginal问题

求边缘概率分布就是求$P(V)$（$P(H)$也是，但求隐状态的边缘概率意义不大）。

照例先来整理一遍条件：

• 数据：
  H = ( h 1 h 2 … h m ) h i ∈ { 0 , 1 } , V = ( v 1 v 2 … v m ) , p = m + n , W = [ w i j ] m × n = ( w 1 w 2 … w m ) H = \begin{pmatrix} h_1 \\ h_2 \\ \dots \\ h_m \end{pmatrix} h_i \in {\lbrace 0, 1 \rbrace} , \quad V = \begin{pmatrix} v_1 \\ v_2 \\ \dots \\ v_m \end{pmatrix}, \quad p=m+n, \quad W = {[w_{ij}]}_{m \times n} = \begin{pmatrix} w_1 \\ w_2 \\ \dots \\ w_m \end{pmatrix} H= ​h1​h2​…hm​​ ​hi​∈{0,1},V= ​v1​v2​…vm​​ ​,p=m+n,W=[wij​]m×n​= ​w1​w2​…wm​​ ​

• 公式：
  $$\{\begin{array}{l}P(V,H)=\frac{1}{Z}\exp \{-E(V,H)\}\\ E(V,H)=-(H^{T}WV+{\alpha }^{T}V+{\beta }^{T}H)\end{array}$$

根据公式我们已知$P(V,H)$，这个时候我们要求$P(V)$，通过积分+公式代入自然就可以求出解：
$$\begin{array}{rl}P(V)& =\sum _{h}P(H,V)\\ & =\frac{1}{Z}\sum _h\exp \{H^{T}WV+{\alpha }^{T}V+{\beta }^{T}H\}\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V\}\cdot \sum _{h_1}\cdots \sum _{h_m}\exp \{H^{T}WV+{\beta }^{T}H\}\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V\}\cdot \sum _{h_1}\cdots \sum _{h_m}\exp \{\sum _{i=1}^m(h_i{w}_{i}V+{\beta }_i{h}_i)\}\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V\}\cdot \sum _{h_1}\exp \{h_1{w}_{1}V+{\beta }_i{h}_1\}\cdots \sum _{h_m}\exp \{h_m{w}_{m}V+{\beta }_i{h}_m\}\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V\}\cdot (1+\exp \{w_{1}V+{\beta }_i\})\dots (1+\exp \{w_{m}V+{\beta }_i\})\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V\}\cdot \exp \{\log (1+\exp \{w_{1}V+{\beta }_i\})\}\dots \exp \{\log (1+\exp \{w_{m}V+{\beta }_i\})\}\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V+\underset{\text{softplus: }log(1+e^x)}{\sum _{i=1}^m\log (1+\exp \{w_{i}V+{\beta }_i\})}\}\\ & =\frac{1}{Z}\exp \{{\alpha }^{T}V+\sum _{i=1}^{m}softplus(w_{i}V+{\beta }_i)\}\end{array}$$