机器学习-白板推导系列笔记（二十一）-RBM

此文章主要是结合哔站shuhuai008大佬的白板推导视频：受限玻尔兹曼机_155min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、背景介绍

RBM（Restricted Boltzmann Machine）

（一）玻尔兹曼机

玻尔兹曼机（Boltzmann Machine）可以说它就是一个马尔科夫随机场（Markov Random Field），简单来说就是一个无向图模型，是一种随机神经网络，借鉴了模拟退火思想，因为使用了玻尔兹曼分布作为激活函数，所以称为玻尔兹曼机。

如下图所示，将无向图中的节点分为两类，阴影的节点为Observed Variable（用$v$表示），另一类为Hidden Variable（用$h$表示）

（二）因子分解

既然说玻尔兹曼机是一种特殊的马尔科夫随机场，我们首先回顾一下马尔科夫随机场的因子分解。

马尔科夫随机场的因子分解是基于最大团的，其中：

$$C_i:最大团，{\psi }_i(x_{ci}):势函数（potentialfunction）Z:归一化因子（配分函数partitionfunction）$$
$$P(x)=\frac{1}{Z}\prod _{i=1}^K{\psi }_i(x_{ci})$$$$\begin{gathered} S.t.:{\psi }_i严格大于0 \\ Z=\sum _x\prod _{i=1}^K{\psi }_i(x_{ci})=\sum _{x_1}\sum _{x_2}\cdots \sum _{x_p}\prod _{i=1}^K{\psi }_i(x_{ci}) \end{gathered}$$
$因为{\psi }_i严格大于0，所以我们取{\psi }_i(x_{ci})=\exp \{-E(x_{ci})\}，其中E为能量函数（EnergyFunction）$
所以，$$P(x)=\frac{1}{Z}\prod _{i=1}^K{\psi }_i(x_{ci})=\underset{指数族分布}{\frac{1}{Z}\exp \{-\sum _{i=1}^{K}E(x_{ci})\}}$$

所以，我们将最大团结合到$x$中去，可以得到，$$P(x)=\frac{1}{Z}\exp \{-E(x_{})\}$$
这就是玻尔兹曼分布（Boltzmann Distribution）或者吉布斯分布（Gibbs Distribution）

（三）玻尔兹曼分布

这是一个统计物理学的概念，是一个物理系统，具体可以看看视频的讲解，这篇文章也可以看看：玻尔兹曼机。

二、模型表示

（一）RBM的模型推导

对于$x$，我们可以令$x=(x_1,x_2,\cdots ,x_p{)}^T$，也可以将$x$分为隐变量和观测变量两部分，即$x=\left(\begin{array}{c}h\\ v\end{array}\right)$，其中，

$$\begin{gathered} h=(h_1,h_2,\cdots ,h_m{)}^T \\ v=(v_1,v_2,\cdots ,v_p{)}^T \\ m+n=p \end{gathered}$$

Boltzmann machine的问题：Inference。精确推断几乎不可能，近似推断计算量过大。因此需要对这个模型进行简化，也就引出了受限玻尔兹曼机（Restricted Boltzmann Machine），即只在$h,v$之间有连接，$h,v$内部无连接。

所以，$P(x)=\frac{1}{Z}\exp \{-E(x_{})\}$可以化为：

$$P(v,h)=\frac{1}{Z}\exp \{-E(v,h)\}$$

我们假设$E(v,h)=-(h^{T}wv+{\alpha }^{T}v+{\beta }^{T}h)$，所以，

$$\begin{gathered} P(v,h)=\frac{1}{Z}\exp \{h^{T}wv+{\alpha }^{T}v+{\beta }^{T}h\} \\ =\frac{1}{Z}\exp \{h^{T}wv\}\cdot \exp \{{\alpha }^{T}v\}\cdot \exp \{{\beta }^{T}h\} \end{gathered}$$

可以参考白板推导系列笔记（九）-概率图模型中的因子图（factor graph view），可以发现上式中的每一项都对应一个因子。

所以，RBM的pdf为：

$$\begin{gathered} P(v,h)=\frac{1}{Z}\exp (h^{T}wv)\cdot \exp ({\alpha }^{T}v)\cdot \exp ({\beta }^{T}h) \\ =\frac{1}{Z}\underset{factor}{\underset{edge}{\prod _{i=1}^m\prod _{j=1}^n\exp (h_i{w}_{ij}{v}_j)}\underset{nodev}{\prod _{j=1}^n\exp ({\alpha }_j{v}_j)}\underset{nodeh}{\prod _{i=1}^m\exp ({\beta }_i{h}_i)}} \\ 其中，w,\alpha ,\beta 均为参数 \end{gathered}$$

（二）常见的概率图模型归纳

这一节是一个回顾（可以理解为上帝视角来看学过的所有概率图模型），有不懂的可以翻看之前的内容（我第一次刷的时候，就有一种把知识都串起来了的感觉）。

1. Naive Bayes(NB)

朴素贝叶斯假设也就是条件独立性假设。

$x_i\perp x_j|y(i\ne j)$

2. Gaussian Mixture Model(GMM)

高斯混合模型，引入了隐变量。

$y\sim$离散的，$k$个选择
$x|y\sim$Gaussian Dist

3. State Space Model(SSM)

状态空间模型，包括(HMM、Kalman Filter、Particle Filter)，也引入了隐变量，有两个假设（a.齐次Markov b.观测独立）

4.Maximum Entropy Markov Model(MEMM)

是MEM（由LR过来）和HMM的一个综合。是一个判别模型，打破了观测独立假设。

5.Condition Random Filed(CRF)

条件随机场是一个判别模型，是一个无向图（MRF），打破了齐次马尔可夫假设。给定$x$的情况下$y$是一个马尔可夫随机场。
$$y|x\sim MRF$$

6.Linear Chain-CRF(LC-CRF)

特点和CRF类似。

7.Boltzmann Machine(BM)

玻尔兹曼机是无向的，引入了一组隐变量，他的PDF是指数族分布（玻尔兹曼分布、吉布斯分布）。$$P(x)=\frac{1}{Z}\exp \{-E(x_{})\}$$

$$x=\{v,h\},x为观测变量，h为隐变量$$

8.Restricted Boltzmann Machine(RBM)

受限玻尔兹曼机首先满足玻尔兹曼机（BM）的所有特点，然后他是条件独立的（组内无连接）。

所以，对比以上的几种概率图模型，大概有以下几个特点（也是各种模型之间的区别）：

1. 方向（有向/无向） $边的角度$
2. 离散/连续（连续主要就是和高斯网络的结合） $点的角度$
3. 条件独立性 $边的角度$
4. 隐变量（有的引入了，有的没有） $点的角度$
5. 概率密度函数（PDF）是否为指数族分布 $结构的角度$

三、模型推断

（一）后验概率

$$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right)=\left(\begin{array}{c}h\\ v\end{array}\right)h=\left(\begin{array}{c}{h}_1\\ h_2\\ ⋮\\ h_m\end{array}\right)v=\left(\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right)p=m+n$$
$$P(x)=\frac{1}{Z}\exp \{-E(x_{})\}$$
$$P(v,h)=\frac{1}{Z}\exp \{-E(v,h)\}$$
$$\begin{gathered} E(v,h)=-(h^{T}wv+{\alpha }^{T}v+{\beta }^{T}h) \\ =-(\sum _{i=1}^m\sum _{j=1}^n{h}_i{w}_{ij}{v}_j+\sum _{j=1}^n{\alpha }_j{v}_j+\sum _{i=1}^m{\beta }_i{h}_i) \end{gathered}$$
$$\begin{gathered} P(v,h)=\frac{1}{Z}\exp (h^{T}wv)\cdot \exp ({\alpha }^{T}v)\cdot \exp ({\beta }^{T}h) \\ =\frac{1}{Z}\underset{factor}{\underset{edge}{\prod _{i=1}^m\prod _{j=1}^n\exp (h_i{w}_{ij}{v}_j)}\underset{nodev}{\prod _{j=1}^n\exp ({\alpha }_j{v}_j)}\underset{nodeh}{\prod _{i=1}^m\exp ({\beta }_i{h}_i)}} \end{gathered}$$

目的：Inference$\to$posterior$\to p(h|v),p(v|h)$

求$p(h|v)$
给定$v$的条件下，所有的$h$之间是相互独立的。

所以，

$$p(h|v)=\prod _{l=1}^{m}p(h_l|v)$$
$$\begin{gathered} p(h_l=1|v)=p(h_l=1|h_{-l},v) \\ =\frac{p(h_l=1,h_{-l},v)}{p(h_l=1,h_{-l},v)+p(h_l=0,h_{-l},v)} \end{gathered}$$
$$E(h,v)=-(\sum _{i=1i\ne l}^m\sum _{j=1}^n{h}_i{w}_{ij}{v}_j+\sum _{j=1}^n{h}_l{w}_{ij}{v}_j+\sum _{j=1}^n{\alpha }_j{v}_j+\sum _{i=1i\ne l}^m{\beta }_i{h}_i+{\beta }_l{h}_l)$$

将上式中与$h_l$有关的项提出来，发现是一个与$v$有关的函数，我们不妨令$$\begin{gathered} h_l{H}_l(v)=\sum _{j=1}^n{h}_l{w}_{ij}{v}_j+{\beta }_l{h}_l \\ =h_l(\sum _{j=1}^n{w}_{ij}{v}_j+{\beta }_l) \end{gathered}$$
即$$\begin{gathered} H_l(v)={\sum }_{j=1}^n{h}_l{w}_{ij}{v}_j+{\beta }_l{h}_l \\ ={\sum }_{j=1}^n{w}_{ij}{v}_j+{\beta }_l \end{gathered}$$
$$\overline{H_l}(h_{-l},v)=\sum _{i=1i\ne l}^m\sum _{j=1}^n{h}_i{w}_{ij}{v}_j+\sum _{j=1}^n{\alpha }_j{v}_j+\sum _{i=1i\ne l}^m{\beta }_i{h}_i$$
所以，$$E(h,v)=-(h_l{H}_l(v)+\overline{H_l}(h_{-l},v))$$

$$p(h_l=1,h_{-l},v)=\frac{1}{Z}\exp \{H_l(v)+\overline{H_l}(h_{-l},v)\}$$
$$p(h_l=1,h_{-l},v)+p(h_l=0,h_{-l},v)=\frac{1}{Z}\exp \{H_l(v)+\overline{H_l}(h_{-l},v)\}+\frac{1}{Z}\exp \{\overline{H_l}(h_{-l},v)\}$$
所以，
$$\begin{gathered} p(h_l=1|v)=\frac{\exp \{H_l(v)+\overline{H_l}(h_{-l},v)\}}{\exp \{H_l(v)+\overline{H_l}(h_{-l},v)\}+\exp \{\overline{H_l}(h_{-l},v)\}} \\ =\frac{1}{1+\exp \{\overline{H_l}(h_{-l},v)-(H_l(v)+\overline{H_l}(h_{-l},v))\}} \\ =\frac{1}{1+\exp \{-H_l(v)\}} \\ =\sigma (H_l(v)) \\ =\sigma (\sum _{j=1}^n{w}_{ij}{v}_j+{\beta }_l) \end{gathered}$$

sigmoid函数：$\sigma (x)=\frac{1}{1+e^{-x}}$

同理可得：
$$p(v|h)=\prod _{l=1}^{n}p(v_l|h)$$

联想：RBM$\to$神经网络
sigmoid$\to \sigma (x)=\frac{1}{1+e^{-x}}$

（二）边缘概率

目的：Inference$\to$ marginal $\to p(v)$

$$\begin{gathered} p(v)=\sum _{h}p(h,v)=\sum _h\frac{1}{Z}\exp \{-E(h,v)\} \\ =\sum _h\frac{1}{Z}\exp (h^{T}wv)\cdot \exp ({\alpha }^{T}v)\cdot \exp ({\beta }^{T}h) \\ =\sum _{h_1}\sum _{h_2}\cdots \sum _{h_m}\frac{1}{Z}\exp (h^{T}wv)\cdot \exp ({\alpha }^{T}v)\cdot \exp ({\beta }^{T}h) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v)\cdot \sum _{h_1}\sum _{h_2}\cdots \sum _{h_m}\exp (h^{T}wv)\cdot \exp ({\beta }^{T}h) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v)\cdot \sum _{h_1}\sum _{h_2}\cdots \sum _{h_m}\exp (\sum _{i=1}^m(h_i{w}_{i}v+{\beta }_i{h}_i)) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v)\cdot \sum _{h_1}\sum _{h_2}\cdots \sum _{h_m}\exp (h_1{w}_{1}v+{\beta }_1{h}_1)\cdot \exp (h_2{w}_{2}v+{\beta }_2{h}_2)\cdots \exp (h_m{w}_{m}v+{\beta }_m{h}_m) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v)\cdot \sum _{h_1}\exp (h_1{w}_{1}v+{\beta }_1{h}_1)\cdot \sum _{h_2}\exp (h_2{w}_{2}v+{\beta }_2{h}_2)\cdots \sum _{h_m}\exp (h_m{w}_{m}v+{\beta }_m{h}_m) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v)\cdot (1+\exp (w_{1}v+{\beta }_1))\cdot (1+\exp (w_{2}v+{\beta }_2))\cdots (1+\exp (w_{m}v+{\beta }_m)) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v)\cdot \exp \{\log (1+\exp (w_{1}v+{\beta }_1))\}\cdot \exp \{\log (1+\exp (w_{2}v+{\beta }_2))\}\cdots \exp \{\log (1+\exp (w_{m}v+{\beta }_m))\} \\ =\frac{1}{Z}\exp ({\alpha }^{T}v+\sum _{i=1}^m\underset{softplusfunction}{\log (1+\exp (w_{i}v+{\beta }_i))}) \\ =\frac{1}{Z}\exp ({\alpha }^{T}v+\sum _{i=1}^{m}softplus(w_{i}v+{\beta }_i)) \end{gathered}$$

softplus function：$f(x)=\log (1+e^x)$

所以，
$$\begin{gathered} p(v)=\frac{1}{Z}\exp ({\alpha }^{T}v+\sum _{i=1}^{m}softplus(w_{i}v+{\beta }_i)) \\ 其中，w_i是w矩阵的行向量 \end{gathered}$$

Learning问题求解可以查看：白板推导系列笔记（二十四）-直面配分函数的第四大点。

Stacking RBM可以查看：白板推导系列笔记（二十七）-深度信念网络的第二大点。

   \;
   \;
   \;
   \;
   \;
   \;
   \;

下一章传送门：白板推导系列笔记（二十二）-谱聚类