概率无向图模型与条件随机场笔记

    之前有做过中文分词相关的工作，延续它又做了一些序列标注的工作，发现都与两个模型相关，第一个是隐马尔可夫，第二个是条件随机场。找资料后发现有很多资料，但能让我真正理解的、有帮助的中文资料不多，所以，想写一个详细介绍它们的博文。

    首先说下概率图模型，概率图模型是很复杂的一门学问题，鉴于我自己水平有限，对其了解也只能是皮毛。一般来说，概率图模型分为概率有向图模型与概率无向图模型。看起来很烦是吗？其实，最简单的概率有向图模型可以认为是一个朴素贝叶斯分类器。（此处要有一个图）

    可以看到，上面的图中，类别的标记被标记Y，它是一些属性节点的父亲节点，相信大家对这个都很熟悉。它很朴素是因为它做了很多的假设，比如，它的特征相互独立，再比如，上图中的边表示一种因果关系，它只是说，类别标记是特征节点（属性节点）的因，然而没有可能反过来。

    那么，在概率有向图中，更为复杂的是贝叶斯网络，它将类结点与属性节点作为同等的地位。其中比较著名的有Friedman提出的增强型朴素贝叶斯网络（tree-augmented naive bayes），以及马尔可夫毯贝叶斯网络。此外，还有一类叫做动态贝叶斯网络，相信大家对隐马尔可夫模型比较熟悉，它就是一类很常见的动态网络，这里的动态不是说网络结构的变化，而是说建模的系统是一个动态的系统，比如 解决分词问题时的 序列标注问题。

   以上是一些概率有向图的知识，概率无向图模型与之不同的是，节点之间的边不再有方向，因而也没有明确的概率信息，然而它的确意味着节点之间的相互依赖关系。它可以表示一些复杂的依赖关系。

   首先，在图上，马尔可夫性：X2 把X1与X3分开后，X1与X3相互独立。

   根据HC定理，无向概率分布可以认为是