Stanford教授Daphne Koller 概率图模型 — 终极入门 第一讲 有向图模型与贝叶斯网络基础

图模型或者概率图模型（Probabilistic Graphical Model）, 是每个机器学习领域数据科学家的必备工具. 今天的终极入门我们讲解斯坦福教授Daphne Koller 概率图模型在coursera上的教程. 简洁地把要点拿出来分享给大家.

概率图模型可以是有向无环图 或者无向图

概率图模型是用图来表示变量概率依赖关系的理论。因为概率的依赖关系可以是单向的, 也可以是双向的, 所以概率图模型可以是有向无环图(如贝叶斯网络), 也可以是双向的有环图(如马尔可夫网络) .

概率图模型是用图来表示变量概率依赖关系的理论。因为概率的依赖关系可以是单向的, 也可以是双向的, 所以概率图模型可以是有向无环图(如贝叶斯网络), 也可以是双向的有环图(如马尔可夫网络) .

即, 所有概率的联合概率, 是各个节点表示的随机变量的条件概率相乘的结果.

注:

Difficulty 测试难度

Intelligence 学生能力高低

Grade 学生测试成绩

SAT 学生高考成绩

Letter 学生是否可以得到教授工作推荐信

如何证明其实在教程中也给出了, 关键点是, P(D, I, G, S, L)分布如果是合理的, 那么所有情况的总和, 一定是1 :

另外一个知识点是, 如何用概率图做推演呢 ? 来看下面这个问题:

我们有以上概率图, 发现学生们测试拿到了C, 而且抽样发现, 考试难度是很大的(hard !). 那我们抽样考试难度, 问:

推演出学生们的考试能力后验, 是变高了, 还是变低了 ?

答: 首先, 如果测试拿了C, Grade这个节点已经观察确定了概率, 因此Grade已经是不可变了, 那么根据考试难度的抽样, 如果考试难度高, 那么学生的考试能力后验, 是变高了. 而如果根据考试难度的抽样, 发现考试难度低, 那么学生的考试能力后验, 是变低了.

总结就是, 考分一样, 如果难度高, 学生能力强, 如果难度低, 学生能力弱. 其实我们在生活中不知不觉一直在用贝叶斯推演啊 !

再来看一题:

如果在Grade观察得到C的基础上, 我们抽样到学生们过了SAT考试, 问:

我们可以推断出, 测试的Difficulty是升高还是降低了 ?

答: Difficulty升高了. 因为SAT过了说明学生们的能力是高的, 但是测试成绩是C, 说明难度太大啦 !

其次, 让我们看一下图模型中节点间的影响关系:

可以总结, 如果W不是被观察变量, 两个随机变量不处在V字形的两端, 是都可以互相影响的.

但是如果W是观察过的变量, 情况就不同啦:

所以,

观察过的随机变量, 有阻隔概率图流动的作用 !

同时, 通过观察的变量, 又有反向推演的作用 !

最后, 来看一题概率图激活流动的题目:

如果仅仅观察G节点, 选项2一定不能选, 因为G阻隔了I->G->L的路径. 选项4也不能选, 因为节点J 并没有被观察, 所有 S->J<-L的V字形并没有被激活.

最后, 让我们看看如何用概率图模型建模朴素贝叶斯(Naive Bayes Model):

朴素贝叶斯(Naive Bayes Model)是典型的分类工具, 我们之前的图模型链式法则, 在这里派上来用处, 所有概率的联合概率, 是各个节点表示的随机变量的条件概率相乘的结果. 在朴素贝叶斯中也一样.

参考文献:

1. https://www.coursera.org/learn/probabilistic-graphical-models
2. http://blog.csdn.net/yangliuy/article/details/8067261
3. https://en.wikipedia.org/wiki/Graphical_model
4. http://baike.baidu.com/item/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B
5. http://blog.csdn.net/zdy0_2004/article/details/44248083

_update_datetime:20211214153453