贝叶斯网络(概率图模型)

概率图模型分为贝叶斯网络和马尔可夫两大类。其中贝叶斯网络是一个有向无环图结构，而马尔可夫是一个无向图结构。本文只讲解贝叶斯网络，马尔可夫会在后面的博客进行讲解。

在开始之前需要复习下概率论的一些公式：

乘法法则：

 

链式法则：

放个例子帮助理解链式法则，当n=4时，上面的例子为：

证明，根据乘法法则有:

所以由上面3个式子，可推出:

 

另外，还有一个有向图的因子分解公式：

其中，为的父亲集合

贝叶斯网络的结构形式一般可以大统的分为三种，下面一一对他们进行解剖：

（1）tail-tail（看中间节点c的两条边）边的头和尾是这样看： tail(尾)→head(头)，因为节点c都是连接两条边的tail，所以是tail-tail

若c被观测，则a与b独立，即,证明如下：

首先上图结构根据因子分解为：

                                                           

上图结构根据链式法则又可写成：

       

由(1)=(2) 推出 ， 所以a与b独立：

总结tail-tail结构：若c被观测，则路径被堵塞，a与b独立。

(2)head-tail结构：

若c被观测，则a与b独立，即,证明如下：

因子分解为：

                                    

链式法则：

  

由式(3)=(4) 推出 ， 所以a与b独立：

总结head-tail结构：若c被观测，则路径被堵塞，a与b独立。

(2)head-head结构：

这个head-head结构和上面两个结构刚好相反，默认情况下，a与b是独立的，若c被观察，则a与b不独立，证明如下：

因子分解：

                                      

链式法则：

    

由式(5)=(6) 推出 ， 所以a与b独立：

总结head-head结构：默认情况下，a与b是独立的，路径是阻塞的，若c被观测，则路径是通的，a与b不独立。

（head-head这个结构可以这样理解，把c看成父母a与b的孩子，若c没生出来，a与b是独立的，是没有关系的，若c生了出来，则a与b就有关系了，不是独立的）