机器学习day19概率图模型

概率图模型

概率图模型(Probabilistic Graphic Model),能够很好地挖掘潜在的内容。

概率图中地节点分为隐含节点和观测节点,边分为有向边和无向边。从概率论的角度,节点对应于随机变量,边对应于随机变量的依赖或相关关系,其中有向边表示单向的依赖,无向边表示互相依赖。

概率图模型分为贝叶斯网络(Bayesian Network)和马尔可夫网络(Markov Network)两大类。贝叶斯用有向图结构表示,马尔可夫网络用无向图的网络结构表示。

概率图模型包含朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等等。

贝叶斯联合概率分布

左边为贝叶斯网络,右边为马尔可夫网络

贝叶斯网路和马尔可夫网络

由图可见,在给定A的条件下,B和C是条件独立的,基于条件条件概率的定义可得

同理,在给定B和C的条件下,A和D是条件独立的,可得

上面两个式子可联合概率

马尔可夫联合概率分布

在马尔可夫网络中,联合概率分布的定义如下:

其中C为图中最大团所构成的集合,为归一化因子,用来保证P(x)是被正确定义的概率,是与团Q对应的势函数,势函数非负,并且应该在概率较大的变量上取得较大的值,例如指数函数

其中

对于图中所有节点所构成的一个子集,如果这个子集中,任意两点之间都存在边相连,则这个自己的所有节点构成一个团。如果在这个子集中加入其他任意节点,都不能构成团,我们称这样的子集构成一个最大团。左边为贝叶斯网络,右边为马尔可夫网络

贝叶斯网路和马尔可夫网络

显然这里只有(A,B)、(A,C)、(B,D)、(C,D)构成团,且是最大团。联合概率密度可以表示为

如果使用上面的指数函数作为势函数,则有


你可能感兴趣的:(机器学习day19概率图模型)