概率图模型基础(3)——贝叶斯网络的独立性

1. 贝叶斯网的基本独立性

在学生成绩示例图中，用边表示其直接依赖关系。

根据上一节概率图模型基础(2)——贝叶斯网络中的因果关系，在节点的独立性方面，可以得出什么结论呢？

在学生成绩的例子中：在给定父节点Grade的情况下，Letter与图中其他节点都独立。有$P(L\perp I,D,S|G)$成立。

---

2. 图与分布

这一节概念有点抽象？（至少我是这么觉得，所以后面后回来重新修改了。）

首先我自己先瞎BB几句：
当我们在实际应用中面对一系列的数据的时候，一般来说会从下面两个方面理解：

• 观察数据（其实就是观察数据的分布），从一堆变量中找出相互独立的变量（I、G）以及在某些条件下独立的变量（类似G、I、S），根据观察结果绘制图。这一些列的动作，就是由条件概率分布作注释的图，这个图通过链式法则为贝叶斯网定义了一个联合分布。
• 贝叶斯图其实就是好几堆独立性变量组合在一起的可视化结果。

这就是图与分布之间的关系，认清这个关系对后文的理解非常重要。

2.1 I-Maps(independency map)

2.1.1 I-Maps是啥？

2.1.1.1 定义

$P$是$\chi$上的分布，$I(P)$定义为$P$中满足独立性的集合。

2.1.1.2 理解

I-map：记贝叶斯网络为$G$，概率分布为$P$，若$G$中表现出的独立性的集合是$P$中表现出的独立性的集合的子集。则$G$是$P$的一个I-map。比如

先看Graph：

• 对于$G_{\varnothing }$来说，$X$,$Y$未连接，故而$X$,$Y$独立。
• 对于$G_{X\to Y}$来说，$X$影响$Y$，故而$X$,$Y$不独立，表现出的独立性为$\varnothing$。
• 对于$G_{Y\to X}$来说，$Y$影响$X$，故而$X$,$Y$不独立，表现出的独立性为$\varnothing$。

再看分布P：

• 对于左表来说，$P(X,Y)=P(X)P(Y)$，所以$X$,$Y$独立。
  • $G_{\varnothing }$表现出$X$,$Y$独立，满足条件；
  • $G_{X\to Y}$和$G_{Y\to X}$独立性为$\varnothing$，可归为任何分布P的I-map。

所以三个图都是P的I-map。

• 对于右表来说，$P(X,Y)\ne P(X)P(Y)$，所以$X$,$Y$不独立。
  • $G_{\varnothing }$表现出$X$,$Y$独立，不满足条件。
  • $G_{X\to Y}$和$G_{Y\to X}$独立性为$\varnothing$，可归为任何分布P的I-map

所以只有$G_{X\to Y},G_{Y\to X}$是P的I-map。

2.1.2 等价I-Maps

2.1.2.1 定义

2.1.2.2 例子

上图中的(a,b,c)，虽然网络结构不同，但是都体现了相同的独立性假设：$(X\perp Y|Z)$。

2.1.3 I-Maps怎么变身分布的表达

熟悉贝叶斯公式的人都清楚，不管啥网络结构(以学生成绩为例)，

上图的联合分布必然能写成：
$$P(I,D,G,L,S)=P(I)P(D|I)P(G|I,D)P(L|I,D,G)P(S|I,D,G,L)\text{\hspace{1em}(2.1)}$$
有了I-maps之后，就可以简化一些因子:

• D,I独立，所以有$P(D|I)=P(D)$
• 在给定G的条件下，L和I,D独立，所以有$P(L|I,D,G)=P(L|G)$

所以公式2.1可以简化为
$$P(I,D,G,L,S)=P(I)P(D)P(G|I,D)P(L|G)P(S|I)\text{\hspace{1em}(2.2)}$$
公式2.2正好满足《概率图模型基础(2)——贝叶斯网络中的因果关系》中贝叶斯网络表达式的书写规律。

另外，多一句嘴，所谓分布的表达，其实就是因子分解。

2.1.4 最小I-Map

最小I-map与给定的节点顺序有关。

2.2 $d-se{p}_G(X,Y|Z)$

我又来瞎BB了：这个其实就是给定条件下的I-Maps

2.3.1 定义

$d-se{p}_G(X,Y|Z)$：在概率图中，在给定结点$Z$的条件下，结点$X$和结点$Y$存在有效迹（只要是结点连着的，不管方向对不对就称为迹），若结点$X$和结点$Y$相互独立，则可以表示为$d-se{p}_G(X,Y|Z)$

示例：
若G为不观测变量则S与D的关系可表示为：
$d-se{p}_G(S,D|I)$

具体如何判断 d-分离，请参考《概率图模型基础(2)——贝叶斯网络中的因果关系》文中第 3.2 结：贝叶斯网络中各节点如何相互影响？

扩展：
与d-separate 相对应的独立性的集合用$I(G)$表示：
$$I(G)=\left\{(X\perp Y|Z):d-se{p}_G(X;Y|Z)\right\}$$

2.2.2 寻找所有d-sep

思路
在寻找之前，确保有：观测变量$Z$的集合；贝叶斯网络图结构。
1.从下到上，从叶子结点到根的遍历图结构，标记$Z$及其后代的所有节点。
2. 使用广度优先遍历，遇到如下情况停止，说明不存在d-sep，否则，说明存在d-sep：
a. 节点在v-结构中间，但在第一步中未被标记。
b. 节点不在v-结构中间，但是在第一步中被标记了。

2.3 P-Map

P-Map 的一个直观解释：能够完全刻画分布$P$的最小I-Map。

---

3. 参考文献

Coursera——Probabilistic Graphical Models