机器学习笔记——贝叶斯分类器（V）贝叶斯网络

概念

贝叶斯网络(Bayesian network)，又称“信念网络”（belief network），它借助于有向无环图（Directed Acyclic Graph）来刻画属性之间的依赖关系。并且使用条件概率表来描述属性的联合概率分布。

组成

一个贝叶斯网络 B 由结构 G 和参数 Θ 两个部分构成，即 B=⟨G,Θ⟩ .

---

其中：
B 代表贝叶斯网络
G 代表一个有向无环图，其中每个结点对应一个属性，若两个属性有直接的依赖关系，则他们由一条边联系起来。
Θ 定量描述这种依赖关系，假设属性 xi 在 G 中的父节点集为 πi 则 Θ 包含了每个属性的条件概率表 θxi∣πi=PB(xi∣πi) .

---

结构

贝叶斯网络结构有效地表达了属性间的条件独立性。给定父结点集合，贝叶斯网络假设每个属性与它的非后裔属性独立，于是 B=⟨G,Θ⟩ 将 x1,x2,…,xd 的联合概率分布定义为：

PB(x1,x2,…,xd)=∏i=1dPB(xi∣πi)=∏i=1dθxi∣πi

几种常见贝叶斯网络

注：
a 和 b 在给定 c 的取值时独立记为： a⊥b∣c

同父结构

给定 x1 的取值，则 x3 和 x4 条件独立。
x1 的取值未知，则 x3 和 x4 不独立。

V型结构

给定子结点 x4 的取值， x1 和 x2 必不独立。
但是在 x4 的取值完全未知的时候， x1 和 x2 相互独立。

顺序结构

给定 x 的值，则 y 和 z 条件独立。
x1 的取值未知，则 y 和 z 不独立。