西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

概率图模型是一类用图来表达变量相关关系的概率模型。图中的节点代表变量，图中的边代表变量之间存在某种联系。

马尔可夫随机场（Markov Random Field）是著名的无向图模型。

马尔可夫链：系统下一时刻的状态仅由当前状态决定，不依赖于以往任何状态。

1. 马尔可夫随机场结构

马尔可夫随机场联合概率分布定义为：
$$P(x)=\frac{1}{Z^{\ast }}\prod _{Q\in C^{\ast }}{\psi }_Q(x_Q)$$
其中，$C^{\ast }$是极大团集合，任意两节点都有边连接称为“团”，一个团中加入任意的节点都不再形成团称为“极大团”，${\psi }_Q$是团$Q$的势函数，$Z^{\ast }={\sum }_x{\prod }_{Q\in C^{\ast }}{\psi }_Q(x_Q)$是规范化因子。

结构如下图所示（图源：机器学习）：

分离集：节点集A中的节点到节点集B中的节点，都需要经过节点集C，那么C称为分离集，A和B被C分离。

• 全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立
• 局部马尔可夫性：给定某变量的邻接变量，则该变量条件独立于其他变量
• 成对马尔可夫性：给定所有其他变量，两个非邻接变量条件独立

势函数常用指数函数定义：
$${\psi }_Q(x_Q)=e^{-H_Q(x_Q)}$$

2. 近似推断

利用已知变量推断未知变量的分布称为“推断”，其核心是基于可观测变量推测出未知变量的条件分布。

MCMC先设法构造一条马尔可夫链，收敛至平稳分布恰为待估计参数的后验分布，然后基于这个马尔可夫链产生样本进行估计。

MCMC方法的关键在于构造平稳分布p的马尔可夫链来产生样本，若马尔可夫链运行时间足够长，那么产出的样本近似服从于分布p。

2.1. Metropolis-Hastings

Metropolis-Hastings是MCMC方法之一，基于拒绝采样来逼近平稳分布。

算法如下图所示（图源：机器学习）：

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~