马尔可夫随机场与条件随机场

马尔可夫随机场

1. 引言

马尔可夫随机场(Markov Random Field，简称MRF)，是马尔可夫网的一种，生成式模型，是一种著名的无向图模型。图中每个节点表示一个或一组变量，结点之间的边表示两个变量之间的依赖关系。马尔科夫随机场有一组势函数，非负实函数，主要用于定义概率分布函数。

2. 团与极大团

对于一个马尔科夫随机场图中的结点的一个子集，若其中任意两节点键都有边连接，则成结点子集为一个团。
若在一个团中加入另外任何一个结点都不在形成团，责成该团为极大团。

3. MRF联合概率

MRF中，多变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体来说，对n个变量$\{x_1,x_2...,x_n\}$所有团构成集合为C，与团$QϵC$对应的变量集合记为$x_Q$，则联合概率$P(X)$为:$$P(X)=\frac{1}{Z}\prod _{QϵC}{\psi }_Q(x_Q)$$其中${\psi }_Q$为与团Q对应的势函数，用于对团Q中的变量关系进行建模，$Z={\sum }_x{\prod }_{QϵC}{\psi }_Q(x_Q)$为规范化因子，以确保P(x)是被正确定义的概率。
很显然，若变量个数较多，则团的数目将会很多，这就会带来计算负担。注意到若团Q不是极大团册必被一个极大团$Q^{\ast }$所包含，这就意味着$x_Q$之间的关系不仅体现在势函数${\psi }_Q$中还体现在${\psi }_Q^{\ast }$中于是联合概率P(X)可基于极大团来定义，假定所有极大团构成的集合为$C^{\ast }$，则有$$P(X)=\frac{1}{Z^{\ast }}\prod _{QϵC^{\ast }}{\psi }_Q(x_Q)$$，其中$Z={\sum }_x{\prod }_{QϵC^{\ast }}{\psi }_Q(x_Q)$

4. MRF的条件独立性(有向分离)

在f给定的情况下，判断a和b的独立性。我们把a，e，c当做一个整体，由贝叶斯网络独立性分析可知左半部分和b相互独立，我们认为a和b独立，通俗点说，这就是有向分离。
而对于MRF有：

• 全局马尔科夫性：给定两个变量子集分离集，则这两个变量子集条件独立。

推论：

• 局部马尔可夫性：给定某变量的邻接变量，则该变量独立与其他变量。
• 成对马尔科夫性：给定所有其他变量，两个非邻接变量条件独立。

条件随机场

(https://www.jianshu.com/p/55755fc649b1)