机器学习——贝叶斯网(bayesian Network)一

把某个研究系统按照设计的随机变量,感觉是否条件独立绘制在一个有向图中,这就近形成了贝叶斯网络.

贝叶斯网络一个有向无环图(Directed Acyclic Graph,DAG),是一种概率图模型,根据概率图的拓扑结构,考察一组随机变量{x1x2,x3......xn}即其n组的条件概率分布(Conditional Probability Distributions,CPD)的性质.

其中有向无环图中节点表示随机变量,连接两个节点之间的箭头便开始两个随机变量之间的因果关系,因此这两个节点之间结汇产生一个条件概率.

---

一个简单的贝叶斯网络:

P(a,b,c)=P(c|b,a)P(b|a)P(a)

可以看到a为b因,a,b为c的因.也可以从以上的条件概率公式中进行推导.

---

一个正常的贝叶斯网络,通常有些边会缺失.

上图,我们从直观就可以看到其中,x1和x2独立;x6和 x7在x4条件下独立

我们也可以直观的发现x1x2...x7的联合分布:

P(x4|x1x2x3)P(x5|x1x3)P(x6|x4)P(x7|x4,x5)P(x1)P(x2)P(x3)

---

对一个实际的贝叶斯网络分析

主要是其中的CPD图: 我们可以看对于其中的Dyspnoea(呼吸困难)其依赖于条件lungCancer(肺癌)记为C和Bronchitis(支气管炎)记为B:当C,B不发生时,不得呼吸困难的概率是0.9,得呼吸困难的概率是0.1;当C不发生,B发生时,不得呼吸困难的概率是0.3.呼吸困难的概率是0.7......

---

再列举一个报警的贝叶斯网络;

入室盗窃和地震都会引起家中警报响起,家中有两个孩子一个john和mary,警报响起也会使他们打电话报警

我们希望得到,在金宝装置误报警情况下,JM同时打电话报警的概率;

P(j,m,a,1-b,1-e)=P(j|a)P(m|a)P(xa|1-b,1-e)P(1-b)P(1-e)=0.9*0.7*0.001*0.999*0.998=0.00063

---

特殊的贝叶斯网络:

看出,此处节点形成一条链式网络,这有个很著名的名称叫做马尔科夫模型.即其中Ai+1只和Ai有关