机器学习系列手记（六）：概率图模型之概率图模型的联合概率分布

概率图模型

      对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测节点表示观测到的数据，用隐含节点表示潜在知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布。
概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相互关系，其中有向边表示单向依赖，无向边表示相互依赖。
      概率图模型分为贝叶斯网络和马尔科夫网络两大类。贝叶斯网络可以用一个有向图结构，马尔科夫网络可以表示成一个无向图的网络结构。

概率图模型的联合概率分布

      概率图模型最为巧妙的设计就是能够用简洁清晰的图示形式表达概率生成的关系，而通过概率图还原其概率分布不仅是概率图模型最重要的功能，也是掌握概率图模型最重要的标准。

1、贝叶斯网络的联合概率分布

      由图可见，在给定A的条件下B和C是条件独立的，基于条件概率的定义可得

同理，在给定B和C的条件下A和D是条件独立的，可得

      由以上两式可得联合概率分布

2、马尔科夫网络的联合概率分布

      在马尔科夫网络中，联合概率分布的定义为

其中C为图中最大团构成的集合，$Z={\sum }_x{\Pi }_{Q\in C}{\phi }_Q(x_Q)$为归一化因子，用来保证$P(x)$是被正确定义的概率，${\phi }_Q$是与团Q对应的势函数。势函数是非负的，并且应该在概率较大的变量上取得较大的值，例如指数函数
$${\phi }_Q(x_Q)=e^{-H_Q(x_Q)}$$
其中

      对于图中所有节点$x=${$x_1,x_2,...,x_n$}所构成的一个子集，如果在这个子集中，任意两点之间都存在边相连，则这个子集中的所有结点构成了一个团。如果在这个子集中加入任意其他节点，都不能构成一个团，则称这样的子集构成了一个最大团。
在上图（b）的网络结构中可以看出（A,B）、（A,C）、（B,D）、（C,D）均构成团，同时也使最大团。因此联合概率分布可以表示为

      如果采用${\phi }_Q(x_Q)$定义的指数函数作为势函数，则有

      于是