PGM学习之六 从有向无环图（DAG）到贝叶斯网络（Bayesian Networks）

          本文的目的是记录一些在学习贝叶斯网络（Bayesian Networks）过程中遇到的基本问题。主要包括有向无环图（DAG），I-Maps，分解（Factorization），有向分割（d-Separation），最小I-Maps（Minimal I-Maps）等。主要参考Nir Friedman的相关PPT。

1  概率分布（Probability Distributions）

          令X1,...,Xn表示随机变量；令P是X1,...,Xn的联合分布（joint distribution）。如果每个变量均可有两种取值（0-1分布），那么最终我们将得到2^n种取值，也就是说，我们需要用2^n个变量来描述P的分布。

2 随机变量的独立性

       如果随机变量X和Y相互独立（independent），那么：

             1）P（X=x|Y=y）=p(X=x)，对于所有的x和y均成立；2）也就是说，随机变量Y的取值（或者说随机事件Y是否发生），不影响X。

             3）P(X,Y)=P(X|Y)*P(Y)=P(X)*P(Y)；

       推广，如果X1，。。。，Xn独立，那么：

                   P(X1,,,,,Xn)=P(X1)...P(Xn)，共需O(n)个参数。

3 条件独立（Conditional Independence）

        上述独立的情况比较理想，不幸的是，现实中大多数我们感兴趣的随机变量都不是相互独立的。更加常见的假设是条件独立。两个随机变量X和Y对于给定条件Z条件独立，如果：

P(X=x|Y=y,Z=z) = P(X=x|Z=z)，对于所有随机变量取值x,y,z均成立。

也就是说，当我们知道Z的取值时，Y的取值不影响X的预测。记为Ind(X;Y|Z)

4 马尔科夫假设（Markov Assumption）

        马尔科夫假设是针对有向无环图做的更清晰的独立性假设。对于图G中的任意一个节点X，X代表一个随机变量，在给定X的父节点集Par(X)的情况下，X和X的所有非子节点相互独立。一般记作Ind(X;NonDesc(x)|Par(x))。这也称作变量的局部马尔科夫性。实例见下图：

                           

5 I-Maps

       一个有向无环图G是分布P的一个I-Map当对G的所有马尔科夫假设也适合于对P（假设G和P均具有相同的随机变量）。这是从有向无环图到概率公式推理的基础。

6 分解 Factorization

        如果G是P的一个I-Map，那么我们能简化P的表示么？

        例如，对于随机变量X和Y，如果Ind(X;Y)，我们可以知道：P(X|Y)=P(X)。

        根据链式法则（Chain Rules），我们知道：P(X,Y)=P(X|Y)*P(Y)=P(X)*P(Y)。

        这样，我们就将P(X,Y)简化成为P(X)*P(Y)的形式。

7 分解定理

       如果G是P的一个I-Map，那么：

8 最小I-Map, Minimal I-Map

一个有向无环图G是P的一个最小I-Map当：G是P的一个I-Map；如果G‘是G的子图，那么G’不是P的I-Map。

9 d-separated 有向分割

d-separated这个概念是由Judea Pearl于1988年提出的算法的名字。这个算法是用来衡量图中的所有的条件独立关系。

令X, Y和Z是一个有向无环图 G中二个不相 交节点的子集，如果在集合X和Y中所有节点间的所有路径都被集合Z所 阻塞，则称集合X和Y被Z集合d-s eparation。

也称Z 为X和Y的切割集。否则，称在给定集合Z下集合X和Y依赖。

那么，什么时候称点集X和Y中所有节点间的路径被点集Z阻塞呢？如下图所示：

        1.每条从A中的变量（顶点）到B中变量（顶点）的路径都经过集合Z，则称Z分开了点集A和B；

        2.Z阻塞了从A到B的所有路径。

10 信息理论

         增加这个定义的原因是因为评价概率模型时常常要用到，作为笔记留作查阅。

11.扩展阅读

图模型的介绍

An introduction to graphical models，Kevin P. Murphy

关于图模型的课程：课件以书的形式给出，易读

Statistical Learning Theory，berkeley CS281A  

http://www.cs.berkeley.edu/~jordan/courses/281A-fall02/    

更多的tutorials

http://www.cs.ubc.ca/~murphyk/

http://research.microsoft.com/~cmbishop/talks.htm

http://research.microsoft.com/~heckerman/

http://www.autonlab.org/tutorials/

http://www.cs.berkeley.edu/~jordan/tutorials.html

一些工具/源代码

Intel Probabilistic Network Library：C++

www.intel.com/technology/computing/pnl/index.htm 

Jie Cheng ：KDDCup01的优胜者

http://www.cs.ualberta.ca/~jcheng/

Matlab工具：http://prdownloads.sourceforge.net/bnt/