概率图模型5：无向图入门

作者：相国大人

---

写这篇博文用了很多时间和精力，如果这篇博文对你有帮助，希望您可以打赏给博主相国大人。哪怕只捐1毛钱，也是一种心意。通过这样的方式，也可以培养整个行业的知识产权意识。我可以和您建立更多的联系，并且在相关领域提供给您更多的资料和技术支持。

赏金将用于拉萨儿童图书公益募捐
手机扫一扫，即可：

附：《春天里，我们的拉萨儿童图书馆，需要大家的帮助》

---

1. 导读

---

概率图模型系列博文目录（实时更新）

概率图模型1：隐马尔科夫(1)

---

概率图模型1：隐马尔科夫(2)

---

概率图模型1：隐马尔科夫(3)

---

概率图模型4：贝叶斯网络

---

概率图模型5：无向图入门

---

概率图模型6：条件随机场(1)

---

定义1：因子与辖域

假定 D 表示随机变量集合，因子 ϕ 定义为从 Val(D) 映射到实数域 R 的一个函数。假如因子的所有表值均非负，那么这个因子称为非负的。变量集 D 称为因子的辖域.

具体来讲，你可以简单地把因子想象为集合 D={X1,X2,⋯,Xn} 的联合概率（当然，未必是联合概率，也可能是其他形式的局部概率，等等）特别的，令 X,Y,Z 为三个不相交的变量集，且令 ϕ1(X,Y),ϕ2(Y,Z) 是两个因子。因子的乘积 ϕ1×ϕ2 定义为新的因子： ψ:Val(X,Y,Z)↦R :

ψ(X,Y,Z)=ϕ1(X,Y)×ϕ(Y,Z) ,关于因子的更多介绍，我们在上一篇博文中讲贝叶斯网络的时候，详细讨论过。这里不再多做解释。

定义2：成对、局部和全局马尔科夫性

以下内容引自李航《统计学习方法》

定义3：概率无向图模型

定义4：吉布斯分布与无向图因子分解

假如分布 Pϕ 定义为：

Pϕ(X1,X2,⋯,Xn)=1ZPϕ^(X1,X2,⋯,Xn)(1)

其中:

PPϕ^(X1,X2,⋯,Xn)=ϕ1(D1)×ϕ2(D2)×⋯×ϕm(Dm) , Di 为变量集合的一个划分。

Z=∑X1,⋯,XnPϕ^(X1,X2,⋯,Xn) ,为规范化因子。

则，分布 Pϕ 成为因子集 ϕ=ϕ1(D1),⋯,ϕk(Dk) 参数化的吉布斯分布

特别的，如果上面的定义中 Di 为无向图的最大团。那么式子 (1) 即为无向图联合概率分布的因子分解。函数 ϕi(Di) 称为势函数，通常要求为严格正的，一般定义为：

ϕi(Di)=exp{−E(Di)}(2)

上述论断又称为 Hammersley-Clifford定理