【机器学习系列】概率图模型第三讲:深入浅出无向图中的条件独立性和因子分解


作者:CHEONG

公众号:AI机器学习与知识图谱

研究方向:自然语言处理与知识图谱

阅读本文之前,先注意一下两点:

1、 机器学习系列文章常含有大量公式推导证明,为了更好理解,文章在最开始会给出本文的重要结论,方便最快速度理解本文核心。 需要进一步了解推导细节可继续往后看

2、 文中含有大量公式,若读者需要获取含公式原稿Word文档,可关注公众号【AI机器学习与知识图谱】后回复:概率图模型第三讲,可添加微信号【17865190919】进公众号讨论群,加好友时备注来自CSDN。原创不易,转载请告知并注明出处!


本文主要介绍无向图中的条件独立性和因子分解。若需了解有向图中的条件独立性和因子分解请看上一篇【机器学习系列】概率图模型第二讲:深入浅出有向图中的条件独立性和D划分


本文结论


知识点1: 无向图条件独立性体现在全局马尔可夫性、局部马尔可夫性和成对马尔可夫性三个方面。并且三个方面是相互存在,即其中任一个成立均可推出另外两个成立;

知识点2: 概率图的条件独立性和概率图的因子分解不是相互独立的,因子分解式是可以推导出概率图的条件独立性假设;

知识点3: 无向图的因子分解比有向图因子分解要复杂,有向图根据拓扑结构可直接写出因子分解式,而无向图中引入了最大团的改进进行因子分解。


一、无向图条件独立性

无向图模型的条件独立性体现在以下三个方面:

1、 全局马尔可夫性:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sEc2O3Xb-1615603148896)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image002.png)]

如下图所示,无向图的条件独立性很简单,如果在给定集合 X B X_B XB情况下,集合 X A X_A XA X C X_C XC相互独立,则必须满足如下条件:节点a属于集合 X A X_A XA,节点c属于集合 X C X_C XC,若存在节点b和节点a和c之间均连接,则节点b必须存在于集合 X B X_B XB中。

【机器学习系列】概率图模型第三讲:深入浅出无向图中的条件独立性和因子分解_第1张图片

2、局部马尔可夫性:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCi4ksKx-1615603148904)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image012.png)]

如下图所示,局部马尔可夫性是指节点a在给定邻居节点b,c,d情况下和非邻居节点是相互独立的。

【机器学习系列】概率图模型第三讲:深入浅出无向图中的条件独立性和因子分解_第2张图片

3、成对马尔可夫性:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mdi9U6og-1615603148918)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image016.png)]

注意: 全局马尔可夫性,局部马尔可夫性和成对马尔可夫性之间是相互依存的,即其中一个成立可推导出另外两个也是成立的。



二、无向图因子分解


有向图的因子分解根究图的拓扑结构很容易写出因子分解式,但无向图因子分解较复杂,无论是有向图或无向图,因子分解必须要体现图的条件独立性,因子分解和图的条件独立性是等价的。


为了解决无向图因子分解,先引入团和最大团的概念。团是指无向图中节点的集合,且节点之间都是相通的,最大团是指团中再多加入一个节点所有节点就不是相通的,即无向图中最大团的概念。

下面先直接给出基于最大团的无向图因子分解的公式:

【机器学习系列】概率图模型第三讲:深入浅出无向图中的条件独立性和因子分解_第3张图片

其中 x c i x{c_i} xci既是值团 c i c_i ci对应图中的节点集合, ϕ \phi ϕ函数是势函数, ϕ ( x c i ) = e x p ( − E ( x c i ) ) \phi(x{c_i})=exp({-E(x{c_i})}) ϕ(xci)=exp(E(xci)) ,必须为正, E ( x c i ) E(x{c_i}) E(xci)表示能量函数,而 Z Z Z是归一化因子,计算方式如下:

【机器学习系列】概率图模型第三讲:深入浅出无向图中的条件独立性和因子分解_第4张图片

可以通过Hammesley-Clifford定理证明上述的因子分解方式是可以推导出无向图的条件独立性,从侧面说明基于最大团的无向图分解的合理性。

总结: 有向图的因子分解,条件独立性;无向图的因子分解,条件独立性。

参考视频资料:【机器学习】【白板推导系列】 作者:shuhuai008

参考书籍资料:Pattern Recognition and Machine Learning 作者:Christopher Bishop

你可能感兴趣的:(机器学习,机器学习,概率图,无向图,因子分解,条件独立性)