PGM(Probabilistic Graphical Models)系列--3. 马尔科夫模型

前言-- 废话

在这两篇之后，终于艰难的学到了一开始想学的东西，其实在前面两者的学习过程中，作者多多少少的都会提到马尔科夫随机场之类的东西，所以其实跟前面的关系是十分密切的，所以如果前面两个打好了基础的话，应该是可以很快理解这个过程的。
PGM(Probabilistic Graphical Models)系列--1.基础
PGM(Probabilistic Graphical Models)系列--2. 贝叶斯网络

马尔科夫随机场(Markov Random Fields)

从贝叶斯网络到马尔科夫随机场，仅仅是一个有向和无向的转变。但是仅仅因为模型中这一点的不同，造成的差异也是十分巨大的。

首先，在贝叶斯网络中，由于存在方向性，即因果关系，所以是可以是用一个概率表来表示每一个节点的概率的。统计给定父节点值下该节点的频率则可以构造一个合适的概率表从而使模型完备。

但在Markov 随机场中，由于一个二维的表不足以说明两两之间的双向关系，所以引入了新的概念。

Factor
定义：给定一个随机数量的特征组成的集合D，定义一个factor(D)，其值以及其所有项均非负。factor的值代表了内部特征间的对称特征以及兼容性。而这个集合D即这个因子的作用域(scope)。

对于给定一个模型，我们可以先进行分块(clique)，下图以两两进行分块(我们也可以三三分块)，并对每一个块内部提供factor，每一个factor表明了这个块内部的权重分布。

模型A及模型A的分块，及分块后的factor

分块后我们需要将这些块重新构造起来。正如贝叶斯网络中的联合概率。
联合前，我们首先需要进行normalize，2^4 = 16 种情况下对应的四者进行连乘后求百分比。

其中Z即16种情况下的四者连乘之和。上图模型和factor的Z为7201840。

后话

那到这里的话，Markov Random Fields的基础也就讲完了，后面主要是独立性、完备性之类的问题。这些问题我就不在这里赘述，因为涉及很多数学原理，我不喜欢讲这些。后面我们将进入重要的隐马尔科夫链的学习。

参考

http://blog.sciencenet.cn/blog-741529-827705.html
https://www.zhihu.com/question/37853887?sort=created