贝叶斯网络

一、什么是概率图模型？

概率图模型(PGM)是用图来表示变量概率依赖关系的理论，表示与模型有关的变量的联合概率分布。

PGM重在对现实世界的描述，核心是条件概率，基本的概率图模型包括贝叶斯网络和马尔科夫网络。

二、贝叶斯网络是什么？

1.PGM

在介绍贝叶斯网络之前，先更深层次的探讨PGM。

首先，在条件概率中，引入概念：随机变量。随机变量是对现实世界的某种抽象，比如：抽到黄球个数用X=i来表示。条件概率，揭示了多组随机变量内在联系。在PGM中，我们用结点表示随机变量。PGM就是解决：如何快速计算一组随机变量的的概率，用数学方式表达，即：P(X=i,Y=j)

那么，如何快速的计算一组随机变量的概率呢？

首先，我们探讨随机变量间的相关性。

随机变量拥有三种关联：

1）直接关联：X直接影响Y 

2）间接关联：X通过Z影响Y  或者   Z同时作用于X与Y 

3）不关联:当X与Y同时作用于Z时。

那么，不相关在条件概率的解释是：P(X,Y|Z)，即：在Z被观测的条件下，X与Y相互独立。这表明，在某些条件下，一组随机变量组合中，随机变量是可以独立考虑的，也被称作d分离。

这在PGM中，含义是：在给定父节点（Z）的情况下，任意一个节点（X）都是与其非子节点（Z），都是d分离的。

再次重申下：PGM研究的是随机变量之间的联系，联系就是条件。可以说，PGM就是为了解决条件概率分布（CPD)问题而被发明出来的。

2.贝叶斯网络

贝叶斯网络，由一个有向无环图(DAG)和条件概率表(CPT)组成。有向无环图来表示一组随机变量跟它们的条件依赖关系。用CPT表示随机变量间的概率分布。

如何通过贝叶斯网络计算条件分布概率呢？

将条件分布中，无关变量组成的联合分布用独立概率表示，从而减低参数个数，进而减少计算复杂度。

如：P(D,I,G,L,S)

=P(L|G)∗P(S|I)∗P(G|D,I)∗P(D)∗P(I)P(D,I,G,L,S)

=P(L|G)∗P(S|I)∗P(G|D,I)∗P(D)∗P(I)