概率图模型之有向图与无向图

转自http://cid-2d7821b3af3c6073.spaces.live.com/blog/cns!2D7821B3AF3C6073!155.entry

概率图模型之有向图与无向图

图模型用图结构描述随机变量之间的依赖关系，结点表示随机变量，边表示随机变量之间的依赖关系，可以是有向图和无向图。

一 无向图模型

无向图模型又叫马尔可夫网络、马尔可夫随机场，是关于一组有马尔可夫性质随机变量X的全联合概率分布模型。

1 无向图模型的表示

给定包含n个随机变量的问题域，则定义在问题域U上的无向图模型包括拓扑结构和参数两部分:

Ø 拓扑结构S:节点表示随机变量，两节点之间的连线表示它们之间具有直接的相互影响。

Ø 参数Θ:无向图模型参数是对节点之间相互影响的定量描述。它是拓扑结构S中每个极大完全子图所对应的势函数的集合。其中，极大完全子图(clique)是指不包含于其它完全子图的完全子图（完全子图中任何两节点是直接相连的），势函数则反映了极大完全子图的每种可能状态的能量。

2 无向图模型的联合概率分解

利用无向图模型可将图的联合概率分解为一系列因子式。给定无向图模型拓扑结构S和参数Θ之后，问题域U上的联合概率密度函数可写为:

其中N为无向图中极大完全子图的数目。

3 例子：

二 有向图模型

1 一个简单的例子

2 一般情况

考虑任意联合分布 ，通过连续使用乘法规则

利用局部马尔可夫性简化简化：在给定其所有父亲节点的情况下，随机变量X与其非后继条件独立。

其中pa_i是X_i的父节点集合。

三 有向图模型与无向图模型的对比：

1 共同之处

将复杂的联合分布分解为多个因子的乘积

2 不同之处

有向图模型因子是概率分布、无需全局归一

无向图模型因子是势函数，需要全局归一

3 优缺点

无向图模型中势函数设计不受概率分布约束，

设计灵活，但全局归一代价高

有向图模型无需全局归一、训练相对高效