[Python嗯~机器学习]---贝叶斯网络

贝叶斯网络

首先,我们再想一下,相对熵和互信息
[Python嗯~机器学习]---贝叶斯网络_第1张图片
[Python嗯~机器学习]---贝叶斯网络_第2张图片
相对熵是表示两个随机分布之间的距离,也是最大期望算法(EM)的损失函数,是一个大于等于 0 的值
互信息是设两个随机变量  的联合分布为 ,边际分布分别为 ,互信息  是联合分布 与乘积分布 的相对熵

概率公式:
[Python嗯~机器学习]---贝叶斯网络_第3张图片

[Python嗯~机器学习]---贝叶斯网络_第4张图片[Python嗯~机器学习]---贝叶斯网络_第5张图片

[Python嗯~机器学习]---贝叶斯网络_第6张图片
 

[Python嗯~机器学习]---贝叶斯网络_第7张图片[Python嗯~机器学习]---贝叶斯网络_第8张图片
[Python嗯~机器学习]---贝叶斯网络_第9张图片[Python嗯~机器学习]---贝叶斯网络_第10张图片

[Python嗯~机器学习]---贝叶斯网络_第11张图片

具体应用例子:http://blog.sciencenet.cn/blog-82650-255141.html 参考邱士利的博客

你可能感兴趣的:(菜鸟鹏鹏哥哥的机器学习,机器学习,马尔科夫模型,贝叶斯网络)