西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

概率图模型是一类用图来表达变量相关关系的概率模型。图中的节点代表变量，图中的边代表变量之间存在某种联系。

贝叶斯网络利用有向无环图DAG来刻画变量之间的依赖关系。$B=<G,\theta >$，$B$表示贝叶斯网络，$G$表示有向无环图，$\theta$表示参数，假设变量$x_i$的父节点为${\pi }_i$，则${\theta }_{x_i\mid {\pi }_i}=P_B(x_i\mid {\pi }_i)$。

马尔可夫链：系统下一时刻的状态仅由当前状态决定，不依赖于以往任何状态。

1. 贝叶斯网络结构

贝叶斯网络的联合概率分布定义为：
$$P_B(x_1,...,x_d)=\prod _{i=1}^d{P}_B(x_i\mid {\pi }_i)=\prod _{i=1}^d{\theta }_{x_i\mid {\pi }_i}$$

有以下三种贝叶斯网络结构（图源：机器学习）：

其中，在同父结构中，给定$x_1$的值，$x_3{x}_4$条件独立，在顺序结构中，给定$x$的值，$yz$条件独立，在V型结构中，给定$x_4$的值，$x_1{x}_2$必不独立，但是如果$x_4$的取值未知，则$x_1{x}_2$相互独立。

判断有向图中条件独立性的方法，将有向图改为无向图：

1. 找出图中的V型结构，在两个父节点之间加上无向边，称为“道德化”
2. 将所有的有向边改为无向边
3. 若变量$xy$在图上被变量集合$z$分开，但是去掉变量集合$z$之后，$xy$分属两个连通分支
4. 则称为$xy$被$z$有向分离，$x\perp y\mid z$

2. 近似推断

利用已知变量推断未知变量的分布称为“推断”，其核心是基于可观测变量推测出未知变量的条件分布。

2.1. 吉布斯采样

贝叶斯网络的近似推断常采用吉布斯采样（Gibbs sampling），这是MCMC方法之一。

令$Q$表示待查询变量，$q$为取值，$E$表示证据变量，$e$为取值，目标是计算$P(Q=q\mid E=e)$，吉布斯采样算法如下所示（图源：机器学习）：

吉布斯采样实际上是一个马尔可夫链随机漫步，当$t\to \infty$时，收敛于一个平稳分布，这恰好是$P(Q=q\mid E=e)$。

由于马尔可夫链通常需要很长时间才收敛，因此吉布斯采样的收敛速度较慢。

3. 隐马尔可夫模型HMM

隐马尔可夫模型（Hidden Markov Model）是结构最简单的动态贝叶斯网络。

HMM变量可以分为两组：

1. 状态变量：$y_i$表示第$i$个时刻的系统状态，通常假定系统状态是隐变量
2. 观测变量：$x_i$表示第$i$个时刻的观测值

HMM图结构如下图所示（图源：机器学习）：

联合概率分布定义为：
$$P(x_1,y_1,...,x_n,y_n)=P(y_1)P(x_1\mid y_1)\prod _{i=2}^{n}P(y_i\mid y_{i-1})P(x_i\mid y_i)$$
状态转移概率：模型在各个状态间的转换概率，记为矩阵$A$：
$$a_{ij}=P(y_{t+1}=s_j\mid y_t=s_i),i⩽i,j⩽N$$
输出观测概率：模型根据当前状态获得各个观测值的概况，记为矩阵$B$：
$$b_{ij}=P(x_t=o_j\mid y_t=s_i),1⩽i⩽N,1⩽j⩽N$$
初始状态概率：模型在初始时刻各状态出现的概率，记为$\pi$：
$${\pi }_i=P(y_1=s_i)$$

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~