贝叶斯网络

1、概念

贝叶斯网络(Bayesian network)，或称有向无环图模型，是一种概率图模型。

贝叶斯网络的有向无环图中的节点表示随机变量 ，

它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量，用箭头表示条件依赖，权值表示依赖程度。

贝叶斯网结构有效地表达了属性间的条件独立性，给定父结点集，贝叶斯网假设每个属性与它的非后裔属性独立，于是将属性的联合概率分布定义为：

此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：

 

2、举例

西瓜问题的一种贝叶斯网结构和属性" 根蒂"的条件概率表。从图中网络结构可看出，" 色泽" 直接依赖于"好瓜"和"甜度"，而"根蒂"则直接依赖于"甜度"。进一步从条件概率表能得到"根蒂"对"甜度"量化依赖关系，如P(根蒂=硬挺|甜度=高) =0.1等。

如果是上面这个例子，则：

x3和x4在给定x1的取值时独立，x4和x5在给定x2的取值时独立。

 

3、贝叶斯网中三个变量之间的典型依赖关系

在"同父" (common parent) 结构中，给定父结点x1的取值，则x3与x4条件独立。在"顺序"结构中，给定x的值，则y与z条件独立。v型结构(vstructure)亦称"冲撞"结构，给定子结点x4的取值，x1与x2必不独立；奇妙的是，若x4的取值完全未知，则V型结构下x1与x2却是相互独立的，这样的独立性称为"边际独立性"。

一个变量取值的确定与否，能对另两个变量间的独立性发生影响，这个现象并非V型结构所特有。如在同父结构中，若x1的取值未知，则x3和x4就不独立；在顺序结构中，若x值不给定，则y和z就不独立。

 

4、因子图

wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。

通俗来讲，所谓因子图就是对函数进行因子分解得到的一种概率图。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。

举个例子，现在有一个全局函数，其因式分解方程为：

其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系。其对应的因子图为：

在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用sum-product 算法高效的求各个变量的边缘分布。