从贝叶斯方法谈到贝叶斯网络
原
概率图模型之：贝叶斯网络
04-19 阅读数 3万+
1、贝叶斯定理P(A∣B)=P(A)P(B∣A)P(B)P(A\midB)=\frac{P(A)P(B\midA)}{P(B)}P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后... 博文 来自： GnahzNib的博客
从贝叶斯方法谈到贝叶斯网络
0 引言
事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James O.Berger著》等等，然介绍贝叶斯网络的中文资料则非常少，中文书籍总共也没几本，有的多是英文资料，但初学者一上来就扔给他一堆英文论文，因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的（当然，有了一定的基础后，便可阅读更多的英文资料）。
11月9日上午，机器学习班 第9次课讲贝叶斯网络，帮助大家提炼了贝叶斯网络的几个关键点：贝叶斯网络的定义、3种结构形式、因子图、以及Summary-Product算法等等，知道了贝叶斯网络是啥，怎么做，目标是啥之后，相信看英文论文也更好看懂了。
故本文结合课程讲义及相关参考资料写就，从贝叶斯方法讲起，重点阐述贝叶斯网络，依然可以定义为一篇读书笔记或学习笔记，有任何问题，欢迎随时不吝指出，thanks。
1 贝叶斯方法
长久以来，人们对一件事情发生或不发生的概率
，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的概率θ始终都是1/2，即不随观察结果X 的变化而变化。
这种频率派的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。
1.1 贝叶斯方法的提出
托马斯·贝叶斯Thomas Bayes（1702-1763）在世时，并不为当时的人们所熟知，很少发表论文或出版著作，与当时学术界的人沟通交流也很少，用现在的话来说，贝叶斯就是活生生一民间学术“屌丝”，可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”，翻译过来则是：机遇理论中一个问题的解。你可能觉得我要说：这篇论文的发表随机产生轰动效应，从而奠定贝叶斯在学术史上的地位。
事实上，上篇论文发表后，在当时并未产生多少影响，在20世纪后，这篇论文才逐渐被人们所重视。对此，与梵高何其类似，画的画生前一文不值，死后价值连城。
回到上面的例子：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？”贝叶斯认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式，便是贝叶斯式的思考方式。
继续深入讲解贝叶斯方法之前，先简单总结下频率派与贝叶斯派各自不同的思考方式：
- 频率派把需要推断的参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；
- 而贝叶斯派的观点则截然相反，他们认为参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。
相对来说，频率派的观点容易理解，所以下文重点阐述贝叶斯派的观点。
贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布，即在有样本之前（或观察到X之前），有着怎样的分布呢？
比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布，或的无条件分布。
至此，贝叶斯及贝叶斯派提出了一个思考问题的固定模式：
- 先验分布
+ 样本信息
后验分布
上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对
的认知是先验分布，在得到新的样本信息后，人们对的认知为。
其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有0.01%，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。
而后验分布一般也认为是在给定样本的情况下的条件分布，而使达到最大的值
称为最大后验估计，类似于经典统计学中的极大似然估计。
综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。
此外，贝叶斯除了提出上述思考模式之外，还特别提出了举世闻名的贝叶斯定理。
1.2 贝叶斯定理
在引出贝叶斯定理之前，先学习几个定义：
- 条件概率（又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。
比如，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率，所以：P(A|B) = |A∩B|/|B|，接着分子、分母都除以|Ω|得到
- 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为
或者
。 - 边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中那些不需要的事件通过合并成它们的全概率，而消去它们（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization），比如A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。
接着，考虑一个问题：P(A|B)是在B发生的情况下A发生的可能性。
- 首先，事件B发生之前，我们对事件A的发生有一个基本的概率判断，称为A的先验概率，用P(A)表示；
- 其次，事件B发生之后，我们对事件A的发生概率重新评估，称为A的后验概率，用P(A|B)表示；
- 类似的，事件A发生之前，我们对事件B的发生有一个基本的概率判断，称为B的先验概率，用P(B)表示；
- 同样，事件A发生之后，我们对事件B的发生概率重新评估，称为B的后验概率，用P(B|A)表示。
贝叶斯定理便是基于下述贝叶斯公式：
上述公式的推导其实非常简单，就是从条件概率推出。
根据条件概率的定义，在事件B发生的条件下事件A发生的概率是
同样地，在事件A发生的条件下事件B发生的概率
整理与合并上述两个方程式，便可以得到：
接着，上式两边同除以P(B)，若P(B)是非零的，我们便可以得到贝叶斯定理的公式表达式：
所以，贝叶斯公式可以直接根据条件概率的定义直接推出。即因为P(A,B) = P(A)P(B|A) = P(B)P(A|B)，所以P(A|B) = P(A)P(B|A) / P(B)。
1.3 应用：拼写检查
经常在网上搜索东西的朋友知道，当你不小心输入一个不存在的单词时，搜索引擎会提示你是不是要输入某一个正确的单词，比如当你在Google中输入“Julw”时，系统会猜测你的意图：是不是要搜索“July”，如下图所示：
这叫做拼写检查。根据谷歌一员工写的文章显示，Google的拼写检查基于贝叶斯方法。下面我们就来看看，怎么利用贝叶斯方法，实现"拼写检查"的功能。
用户输入一个单词时，可能拼写正确，也可能拼写错误。如果把拼写正确的情况记做c（代表correct），拼写错误的情况记做w（代表wrong），那么"拼写检查"要做的事情就是：在发生w的情况下，试图推断出c。换言之：已知w，然后在若干个备选方案中，找出可能性最大的那个c，也就是求
的最大值。
而根据贝叶斯定理，有：
由于对于所有备选的c来说，对应的都是同一个w，所以它们的P(w)是相同的，因此我们只要最大化
即可。其中：
- P(c)表示某个正确的词的出现"概率"，它可以用"频率"代替。如果我们有一个足够大的文本库，那么这个文本库中每个单词的出现频率，就相当于它的发生概率。某个词的出现频率越高，P(c)就越大。比如在你输入一个错误的词“Julw”时，系统更倾向于去猜测你可能想输入的词是“July”，而不是“Jult”，因为“July”更常见。
- P(w|c)表示在试图拼写c的情况下，出现拼写错误w的概率。为了简化问题，假定两个单词在字形上越接近，就有越可能拼错，P(w|c)就越大。举例来说，相差一个字母的拼法，就比相差两个字母的拼法，发生概率更高。你想拼写单词July，那么错误拼成Julw（相差一个字母）的可能性，就比拼成Jullw高（相差两个字母）。值得一提的是，一般把这种问题称为“编辑距离”，参见博客中的这篇文章。
所以，我们比较所有拼写相近的词在文本库中的出现频率，再从中挑出出现频率最高的一个，即是用户最想输入的那个词。具体的计算过程及此方法的缺陷请参见这里。
2 贝叶斯网络
2.1 贝叶斯网络的定义
贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。
贝叶斯网络的有向无环图中的节点表示随机变量
，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。
总而言之，连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。
例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：
简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。
令G = (I,E)表示一个有向无环图(DAG)，其中I代表图形中所有的节点的集合，而E代表有向连接线段的集合，且令X = (Xi)i ∈ I为其有向无环图中的某一节点i所代表的随机变量，若节点X的联合概率可以表示成：
则称X为相对于一有向无环图G 的贝叶斯网络，其中，
表示节点i之“因”，或称pa(i)是i的parents（父母）。
此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：
如下图所示，便是一个简单的贝叶斯网络：
因为a导致b，a和b导致c，所以有
2.2 贝叶斯网络的3种结构形式
给定如下图所示的一个贝叶斯网络：
从图上可以比较直观的看出：
- 1. x1,x2,…x7的联合分布为
- 2. x1和x2独立（对应head-to-head）；
- 3. x6和x7在x4给定的条件下独立（对应tail-to-tail）。
根据上图，第1点可能很容易理解，但第2、3点中所述的条件独立是啥意思呢？其实第2、3点是贝叶斯网络中3种结构形式中的其中二种。为了说清楚这个问题，需要引入D-Separation（D-分离）这个概念。
D-Separation是一种用来判断变量是否条件独立的图形化方法。换言之，对于一个DAG(有向无环图)E，D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。
2.2.1 形式1：head-to-head
贝叶斯网络的第一种结构形式如下图所示：
所以有：P(a,b,c) = P(a)*P(b)*P(c|a,b)成立，化简后可得：
即在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立，对应本节中最开始那张图中的“x1、x2独立”。
2.2.2 形式2：tail-to-tail
贝叶斯网络的第二种结构形式如下图所示
考虑c未知，跟c已知这两种情况：
- 在c未知的时候，有：P(a,b,c)=P(c)*P(a|c)*P(b|c)，此时，没法得出P(a,b) = P(a)P(b)，即c未知时，a、b不独立。
- 在c已知的时候，有：P(a,b|c)=P(a,b,c)/P(c)，然后将P(a,b,c)=P(c)*P(a|c)*P(b|c)带入式子中，得到：P(a,b|c)=P(a,b,c)/P(c) = P(c)*P(a|c)*P(b|c) / P(c) = P(a|c)*P(b|c)，即c已知时，a、b独立。
所以，在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为tail-to-tail条件独立，对应本节中最开始那张图中的“x6和x7在x4给定的条件下独立”。
2.2.3 形式3：head-to-tail
贝叶斯网络的第三种结构形式如下图所示：
还是分c未知跟c已知这两种情况：
- c未知时，有：P(a,b,c)=P(a)*P(c|a)*P(b|c)，但无法推出P(a,b) = P(a)P(b)，即c未知时，a、b不独立。
- c已知时，有：P(a,b|c)=P(a,b,c)/P(c)，且根据P(a,c) = P(a)*P(c|a) = P(c)*P(a|c)，可化简得到：
所以，在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为head-to-tail条件独立。
插一句：这个head-to-tail其实就是一个链式网络，如下图所示：
根据之前对head-to-tail的讲解，我们已经知道，在xi给定的条件下，xi+1的分布和x1,x2…xi-1条件独立。意味着啥呢？意味着：xi+1的分布状态只和xi有关，和其他变量条件独立。通俗点说，当前状态只跟上一状态有关，跟上上或上上之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链（Markov chain）。且有：
接着，将上述结点推广到结点集，则是：对于任意的结点集A，B，C，考察所有通过A中任意结点到B中任意结点的路径，若要求A，B条件独立，则需要所有的路径都被阻断(blocked)，即满足下列两个前提之一：
- A和B的“head-to-tail型”和“tail-to-tail型”路径都通过C；
- A和B的“head-to-head型”路径不通过C以及C的子孙；
最后，举例说明上述D-Separation的3种情况（即贝叶斯网络的3种结构形式），则是如下图所示：
上图中左边部分是head-to-tail，给定 T 时，A 和 X 独立；右边部分的右上角是tail-to-tail，给定S时，L和B独立；右边部分的右下角是head-to-head，未给定D时，L和B独立。
2.3 贝叶斯网络的实例
给定如下图所示的贝叶斯网络：
其中，各个单词、表达式表示的含义如下：
- smoking表示吸烟，其概率用P(S)表示，lung Cancer表示的肺癌，一个人在吸烟的情况下得肺癌的概率用P(C|S)表示，X-ray表示需要照医学上的X光，肺癌可能会导致需要照X光，吸烟也有可能会导致需要照X光（所以smoking也是X-ray的一个因），所以，因吸烟且得肺癌而需要照X光的概率用P(X|C,S)表示。
- Bronchitis表示支气管炎，一个人在吸烟的情况下得支气管炎的概率用P(B|S)，dyspnoea表示呼吸困难，支气管炎可能会导致呼吸困难，肺癌也有可能会导致呼吸困难（所以lung Cancer也是dyspnoea的一个因），因吸烟且得了支气管炎导致呼吸困难的概率用P(D|C,B)表示。
lung Cancer简记为C，Bronchitis简记为B，dyspnoea简记为D，且C = 0表示lung Cancer不发生的概率，C = 1表示lung Cancer发生的概率，B等于0（B不发生）或1（B发生）也类似于C，同样的，D=1表示D发生的概率，D=0表示D不发生的概率，便可得到dyspnoea的一张概率表，如上图的最右下角所示。
2.4 因子图
回到2.3节中那个实例上，如下图所示：
对于上图，在一个人已经呼吸困难（dyspnoea）的情况下，其抽烟（smoking）的概率是多少呢？即：
咱们来一步步计算推导下：
解释下上述式子推导过程：
- 第二行：对联合概率关于b,x,c求和（在d=1的条件下），从而消去b,x,c，得到s和d=1的联合概率。
- 第三行：最开始，所有变量都在sigma(d=1,b,x,c)的后面（sigma表示对“求和”的称谓），但由于P(s)和“d=1,b,x,c”都没关系，所以，可以提到式子的最前面。而且P(b|s)和x、c没关系，所以，也可以把它提出来，放到sigma(b)的后面，从而式子的右边剩下sigma(x)和sigma(c)。
此外，图中Variable elimination表示的是变量消除的意思。为了更好的解决此类问题，咱们得引入因子图的概念。
2.4.1 因子图的定义
wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。
比如，假定对于函数
，有下述式子成立：
其中
，其对应的因子图
包括：
- 变量节点
- 因子（函数）节点
- 边
，边通过下列因式分解结果得到：在因子（函数）节点
和变量节点
之间存在边的充要条件是
存在。
正式的定义果然晦涩！我相信你没看懂。通俗来讲，所谓因子图就是对函数进行因子分解得到的一种概率图。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。
举个例子，现在有一个全局函数，其因式分解方程为：
其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系（如马尔可夫随机场Markov Random Fields中的势函数）。
为了方便表示，可以写成：
其对应的因子图为：
且上述因子图等价于：
所以，在因子图中，所有的顶点不是变量节点就是函数节点，边线表示它们之间的函数关系。
但搞了半天，虽然知道了什么是因子图，但因子图到底是干嘛的呢？为何要引入因子图，其用途和意义何在？事实上，因子图跟贝叶斯网络和马尔科夫随机场（Markov Random Fields）一样，也是概率图的一种。
既然提到了马尔科夫随机场，那顺便说下有向图、无向图，以及条件随机场等相关概念。
- 我们已经知道，有向图模型，又称作贝叶斯网络（Directed Graphical Models, DGM, Bayesian Network）。
- 但在有些情况下，强制对某些结点之间的边增加方向是不合适的。使用没有方向的无向边，形成了无向图模型（Undirected Graphical Model,UGM）, 又被称为马尔科夫随机场或者马尔科夫网络（Markov Random Field, MRF or Markov network）。
- 设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合随机变量，若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场（MRF），则条件概率分布P(Y|X)称为条件随机场（Conditional Random Field, 简称CRF，后续新的博客中可能会阐述CRF）。如下图所示，便是一个线性链条件随机场的无向图模型：
回到本文的主旨上来。在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用sum-product 算法高效的求各个变量的边缘分布。
先通过一些例子分别说明如何把贝叶斯网络（和马尔科夫随机场），以及把马尔科夫链、隐马尔科夫模型转换成因子图后的情形，然后在2.4.2节，咱们再来看如何利用因子图的sum-product算法求边缘概率分布。
给定下图所示的贝叶斯网络或马尔科夫随机场：
根据各个变量对应的关系，可得：
其对应的因子图为（以下两种因子图的表示方式皆可）：
由上述例子总结出由贝叶斯网络构造因子图的方法：
- 贝叶斯网络中的一个因子对应因子图中的一个结点
- 贝叶斯网络中的每一个变量在因子图上对应边或者半边
- 结点g和边x相连当且仅当变量x出现在因子g中。
再比如，对于下图所示的由马尔科夫链转换而成的因子图：
有：
而对于如下图所示的由隐马尔科夫模型转换而成的因子图：
有
2.4.2 Sum-product算法
我们已经知道，对于下图所示的因子图：
有：
下面，咱们来考虑一个问题：即如何由联合概率分布求边缘概率分布。
首先回顾下联合概率和边缘概率的定义，如下：
- 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者。
- 边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。
事实上，某个随机变量fk的边缘概率可由x1,x2,x3, ..., xn的联合概率求到，具体公式为：
啊哈，啥原理呢？原理很简单，还是它：对xk外的其它变量的概率求和，最终剩下xk的概率！
此外，换言之，如果有
那么
上述式子如何进一步化简计算呢？考虑到我们小学所学到的乘法分配率，可知a*b + a*c = a*(b + c)，前者2次乘法1次加法，后者1次乘法，1次加法。我们这里的计算是否能借鉴到分配率呢？别急，且听下文慢慢道来。
假定现在我们需要计算如下式子的结果：
同时，f 能被分解如下：
借鉴分配率，我们可以提取公因子：
因为变量的边缘概率等于所有与他相连的函数传递过来的消息的积，所以计算得到：
仔细观察上述计算过程，可以发现，其中用到了类似“消息传递”的观点，且总共两个步骤。
第一步、对于f 的分解图，根据蓝色虚线框、红色虚线框围住的两个box外面的消息传递：
计算可得：
第二步、根据蓝色虚线框、红色虚线框围住的两个box内部的消息传递：
根据
，我们有：
就这样，上述计算过程将一个概率分布写成两个因子的乘积，而这两个因子可以继续分解或者通过已知得到。这种利用消息传递的观念计算概率的方法便是sum-product算法。前面说过，基于因子图可以用sum-product算法可以高效的求各个变量的边缘分布。
到底什么是sum-product算法呢？sum-product算法，也叫belief propagation，有两种消息：
- 一种是变量(Variable)到函数(Function)的消息：
，如下图所示
此时，变量到函数的消息为
。
- 另外一种是函数(Function)到变量(Variable)的消息：
。如下图所示：
此时，函数到变量的消息为：
。
以下是sum-product算法的总体框架：
- 1、给定如下图所示的因子图：
- 2、sum-product 算法的消息计算规则为：
- 3、根据sum-product定理，如果因子图中的函数f 没有周期，则有：
值得一提的是：如果因子图是无环的，则一定可以准确的求出任意一个变量的边缘分布，如果是有环的，则无法用sum-product算法准确求出来边缘分布。
比如，下图所示的贝叶斯网络：
其转换成因子图后，为：
可以发现，若贝叶斯网络中存在“环”（无向），则因此构造的因子图会得到环。而使用消息传递的思想，这个消息将无限传输下去，不利于概率计算。
解决方法有3个：
- 1、删除贝叶斯网络中的若干条边，使得它不含有无向环
比如给定下图中左边部分所示的原贝叶斯网络，可以通过去掉C和E之间的边，使得它重新变成有向无环图，从而成为图中右边部分的近似树结构：
具体变换的过程为最大权生成树算法MSWT（详细建立过程请参阅此PPT 第60页），通过此算法，这课树的近似联合概率P'(x)和原贝叶斯网络的联合概率P(x)的相对熵（如果忘了什么叫相对熵，请参阅：最大熵模型中的数学推导）最小。
- 2、重新构造没有环的贝叶斯网络
- 3、选择loopy belief propagation算法（你可以简单理解为sum-product 算法的递归版本），此算法一般选择环中的某个消息，随机赋个初值，然后用sum-product算法，迭代下去，因为有环，一定会到达刚才赋初值的那个消息，然后更新那个消息，继续迭代，直到没有消息再改变为止。唯一的缺点是不确保收敛，当然，此算法在绝大多数情况下是收敛的。
此外，除了这个sum-product算法，还有一个max-product 算法。但只要弄懂了sum-product，也就弄懂了max-product 算法。因为max-product 算法就在上面sum-product 算法的基础上把求和符号换成求最大值max的符号即可！
最后，sum-product 和 max-product 算法也能应用到隐马尔科夫模型hidden Markov models上，后面有机会的话可以介绍。本文完。
3 参考文献和推荐阅读
- Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances"（贝叶斯定理原始论文）：http://www.sbs-bvs.be/bsn57/bsn57-6.pdf；
- 《数理统计学简史 第三章 贝叶斯方法》；
- 《贝叶斯统计 茆诗松著》；
- “Julw”的搜索结果：http://www.gu1234.com/search?hl=zh-CN&site=webhp&source=hp&q=Julw&btnK=Google+%E6%90%9C%E7%B4%A2&gws_rd=ssl；
- 北京10月机器学习班第9次课，邹博讲贝叶斯网络的PPT：http://pan.baidu.com/s/1o69Lp1K；
- 相关wikipedia，比如贝叶斯定理的wiki：http://zh.wikipedia.org/zh/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86，贝叶斯网络的wiki：http://zh.wikipedia.org/wiki/%E8%B2%9D%E6%B0%8F%E7%B6%B2%E8%B7%AF。因子图中文wiki：http://zh.wikipedia.org/zh/%E5%9B%A0%E5%AD%90%E5%9B%BE，英文wik：http://en.wikipedia.org/wiki/Factor_graph。
- 《统计决策论及贝叶斯分析 James O.Berger著》；
- 贝叶斯定理：http://www.guokr.com/question/547339/；
- 贝叶斯推断及其互联网应用（一）：定理简介http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html；
- 贝叶斯推断及其互联网应用（三）：拼写检查http://www.ruanyifeng.com/blog/2012/10/spelling_corrector.html；
- Google研发总监Peter Norvig解释拼写检查的原理：http://norvig.com/spell-correct.html；
- http://www.eng.yale.edu/pjk/eesrproj_02/luckenbill_html/node4.html(sum-product)；
- Pattern Recognition and Machine Learning Chapter 8, M. Jordan, J. Kleinberg, ect, 2006；
- D-Separation(D分离)-PRML-8.22-Graphical Model by 小军：http://www.zhujun.me/d-separation-separation-d.html；
- 因子图介绍 by Hans-Andrea Loeliger：http://www.robots.ox.ac.uk/~parg/mlrg/papers/factorgraphs.pdf；
- http://netclass.csu.edu.cn/jpkc2003/rengongzhineng/rengongzhineng/kejian/ai/ai/chapter4/442.htm；
- 贝叶斯网的R实现（ Bayesian networks in R）（二）bnlearn(2)：http://site.douban.com/182577/widget/notes/12817482/note/283039795/；
- 知乎上关于贝叶斯学派跟频率派的区别的讨论：http://www.zhihu.com/question/20587681；
- factor graph，因子图，势函数potential function，Template models：http://www.cnblogs.com/549294286/archive/2013/06/06/3121454.html；
- Online Bayesian Probit Regression介绍之Factor Graph：http://www.doingkong.com/?p=68；
- An Introduction to Factor Graphs,Hans-Andrea Loeliger,MLSB 2008：http://people.binf.ku.dk/~thamelry/MLSB08/hal.pdf；
- Factor graph and sum-product algorithm, Frank R. Kschischang, Brendan J.Frey, ect, 1998：http://filebox.vt.edu/~rmtaylor/Graphical_Modeling/Intro_and_tutorial/Kschischang_ffg_sumproduct.pdf；
- A Tutorial on Inference and Learning in Bayesian Networks, Irina Rish：http://www.ee.columbia.edu/~vittorio/Lecture12.pdf；
- Probabilistic Graphical Models Directed GMs: Bayesian Networks：http://www.cs.cmu.edu/~epxing/Class/10708/lectures/lecture2-BNrepresentation.pdf；
- A Brief Introduction to Graphical Models and Bayesian Networks By Kevin Murphy, 1998：http://www.cs.ubc.ca/~murphyk/Bayes/bayes.html；
- Probabilistic Models for Unsupervised Learning（从一个统一的视角去理解： bayesian、MAP、ML，以及FA、EM、PCA、ICA、GMM、HMM等算法）：http://mlg.eng.cam.ac.uk/zoubin/nipstut.pdf；
- PRML概率图模型读书笔记：http://vdisk.weibo.com/s/DmxNcM5-7sGS；
- 12月14日，机器学习班第15次课，邹博讲条件随机场CRF的PPT：http://pan.baidu.com/s/1qWBdOD2。
试求最优状态序列”的deta3(3)算错了,正确答案应该是0.007056，而不是0.0147，你觉得呢博主？所以最后最优序列是不是（3，2，2）？(1年前#33楼)举报回复
例如：同时，f能被分解如下：下面的公式 (2年前 #28楼) 举报回复
太精彩了。
在2.4.2节，有一段话如下：
“还是它：对x3外的其它变量的概率求和，最终剩下x3的概率”
是不是应该是xk？ (3年前 #24楼) 查看回复(1)举报回复
且“ 假定现在我们需要计算计算如下式子的结果”这句话里多余的“计算”二字已经去掉。
有何问题欢迎继续随时反馈，thanks (3年前 ) 举报回复
还有一句话：
“ 假定现在我们需要计算计算如下式子的结果”
多了个计算 (3年前 #23楼) 举报回复
一、贝叶斯网络与朴素贝叶斯的区别
09-26 阅读数 3729
一、贝叶斯网络与朴素贝叶斯的区别 朴素贝叶斯的假设前提有两个第一个为：各特征彼此独立；第二个为且对被解释变量的影响一致，不能进行变量筛选。但是很多情况这一假设是无法做到的，比如解决文本分类时，相邻词... 博文 来自： 果乐果香
贝叶斯系列：（三）贝叶斯网络
08-20 阅读数 6017
贝叶斯网络是一种信念网，基于有向无环图来刻画属性之间的依赖关系的一种网络结构，并使用条件概率表（CPT）来描述联合概率分布。具体来所，一个贝叶斯网络B由结构G和参数两部分构成，B=（G,），网络结构G... 博文 来自： cxjoker的博客
从决策树学习谈到贝叶斯分类算法、EM、HMM
05-17 阅读数 22万+
第一篇：从决策树学习谈到贝叶斯分类算法、EM、HMM （MachineLearning&DataMining交流群：8986884）引言 最近在面试中，除了基础&... 博文 来自： 结构之法 算法之道
机器学习-贝叶斯网络
09-10 阅读数 543
一，介绍无论是朴素贝叶斯或者是半朴素贝叶斯，都是建立在所有属性独立或者仅仅只有很少的属性有依赖的前提下。但是，现实环境中很多属性之间都是相互关联、相互影响的，因而我们用一个有向无黄网来刻画属性之间的关... 博文 来自： lyn5284767的专栏
贝叶斯网络
12-09 阅读数 163
其实我们有些时候研究的随机变量并不是相互独立的，它可能是相互之间有关系的，也就是说若干个样本之间并不相互独立，可能产生了某种关系，最后就产生了一个看起来像网的东西，我们把这样的一个有向的无环图叫做贝叶... 博文 来自： weixin_38241876的博客
贝叶斯网络1
12-22 阅读数 60
知识储备 相互熵 信息增益（互信息） 条件概率： 全概率公式： 贝叶斯公式： 思考问题： 给定一个样本D，计算样本A1,A2,...An发生的概率哪一个可... 博文 来自： weixin_33859665的博客
贝叶斯网络(BN)的理解
06-17 阅读数 392
贝叶斯网络：用点表示事件的条件概率，用边表示事件依赖关系的有向无环图（DAG）。1.在贝叶斯往来中描述概率的方式是每个节点上的条件概率分布（CPD）;2.贝叶斯网络的实质是对联合概率的描述。事件状态 ... 博文 来自： Luzichang的博客
贝叶斯网络与EM算法
07-12 阅读数 1752
贝叶斯网与EM算法一、贝叶斯网贝叶斯网络亦称为“信念网”，他借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布。具体来说，一个贝叶斯网B由结构G和参数θθ\theta两部... 博文 来自： luckmia的博客
贝叶斯通俗易懂推导
08-01 阅读数 1万+
简介贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（ThomasBayes）提出得重要概率论理论。以下摘一段wikipedia上的简介：所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这... 博文 来自： jiangjiane
从贝叶斯方法谈到贝叶斯网络 - xingchengmeng的博客 - CSDN博客
7-5
从贝叶斯方法谈到贝叶斯网络 - cherishlicoolboy的博客 - CSDN博客
8-10
一文看懂如何用贝叶斯解决实际问题
11-10 阅读数 2万+
贝叶斯定理太有用了，不管是在投资领域，还是机器学习，或是日常生活中高手几乎都在用到它。生命科学家用贝叶斯定理研究基因是如何被控制的；教育学家突然意识到，学生的学习过程其实就是贝叶斯法则的运用；基金经理... 博文 来自： 微信公众号：猴子聊人物
极大似然估计详解
05-28 阅读数 17万+
极大似然估计 以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式... 博文 来自： 知行流浪
生活中处处的贝叶斯
02-19 阅读数 1万+
摘要：贝叶斯方法对于由证据的积累来推测一个事物发生的概率具有重大作用，它告诉我们当我们要预测一个事物，我们需要的是首先根据已有的经验和知识推断一个先验概率，然后在新证据不断积累的情况下调整这个概率。用... 博文 来自： 算法与数学之美
从贝叶斯方法谈到贝叶斯网络 - weixin_30868855的博客 - CSDN博客
8-29
从贝叶斯方法谈到贝叶斯网络 - weixin_33910759的博客 - CSDN博客
6-27
贝叶斯网络，看完这篇我终于理解了(附代码)！
07-13 阅读数 280
文章目录1.对概率图模型的理解2.细数贝叶斯网络2.1频率派观点2.2贝叶斯学派2.3贝叶斯定理2.4贝叶斯网络2.4.1贝叶斯网络的结构形式2.4.2因子图2.5朴素贝叶斯3.基于贝叶斯的一些问题4... 博文 来自： mantch
平凡而又神奇的贝叶斯方法
11-14 阅读数 402
全世界有3.14% 的人已经关注了数据与算法之美概率论只不过是把常识用数学公式表达了出来。 ——拉普拉斯记得读本科的时候，...... 博文 来自： 数据与算法之美
从贝叶斯方法谈到贝叶斯网络 - weixin_34189116的博客 - CSDN博客
6-13
数据挖掘算法之贝叶斯网络 - 至道 - CSDN博客
5-9
转载 数学之美番外篇：平凡而又神奇的贝叶斯方法
02-21 阅读数 20
概率论只不过是把常识用数学公式表达了出来。——拉普拉斯目录0.前言历史1.1一个例子：自然语言的二义性1.2贝叶斯公式拼写纠正模型比较与贝叶斯奥卡姆剃刀3.1再访拼写纠正3.2模型比较理论（Model... 博文 来自： 潮湿的桥
贝叶斯网络推理算法简单罗列 - 彬彬有礼的专栏 - CSDN博客
7-21
贝叶斯网络结构学习方法简介
12-14 阅读数 1万+
题目：贝叶斯网络结构学习方法简介 贝叶斯网络（Bayesiannetwork,BN）结构学习就是从给定的数据集中学出贝叶斯网络结构，即各节点之间的依赖关系；只有确定了结构才能继续学得网络参数，即... 博文 来自： 彬彬有礼的专栏
贝叶斯决策理论
01-16 阅读数 5413
转载请标明出处：https://seektech.github.io/2018/01/11/贝叶斯决策理论.htmlMiaoLI(seektech)贝叶斯决策理论研究了模式类的的概率结构完全知道的情况... 博文 来自： Miao LI (seektech)
贝叶斯网络简介
11-26 阅读数 7万+
简介贝叶斯网络(Bayesiannetwork)，又称信念网络(beliefnetwork)或是有向无环图模型(directedacyclicgraphicalmodel)，是一种概率图型模型，借由有... 博文 来自： memory的专栏
BAT机器学习面试1000题系列（第1~305题）
09-28 阅读数 36万+
BAT机器学习面试1000题系列整理：July、元超、立娜、德伟、贾茹、王剑、AntZ、孟莹等众人。本系列大部分题目来源于公开网络，取之分享，用之分享，且在撰写答案过程中若引用他人解析则必注明原作者及... 博文 来自： 结构之法 算法之道
贝叶斯网络推理算法简单罗列
03-04 阅读数 1万+
题目：贝叶斯网络推理算法简单罗列 上一篇《贝叶斯网络与最大可能解释(MPE)问题》理清了最大可能解释（MostProbableExplanation,MPE）的概念，接下来准备在MATLAB中基... 博文 来自： 彬彬有礼的专栏
【求助】基于java的贝叶斯网络
用java写的一个可以构建贝叶斯网络并进行推理的一个程序。 具体实现功能： 1.可以自由画出贝叶斯网络模型 2.可以对刚画出的节点赋值（概率值） 3.可以对构建成的网络模型进行推理，得到最后一个节点发 论坛
贝叶斯定理
04-14 阅读数 933
贝叶斯定理通常，事件A在事件B的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯法则就是这种关系的陈述。贝叶斯法则又被称为贝叶斯定理、贝叶斯规则，是指概率统计... 博文 来自： 流浪若相惜的专栏
贝叶斯网络分类
03-26 阅读数 161
类型单一1.朴素贝叶斯混合GMM高斯混合模型带上时间Markovchain马尔可夫链.高斯过程（无限维）连续高斯贝叶斯网络... 博文 来自： 周孟齐的博客
数据挖掘算法之贝叶斯网络
04-04 阅读数 1万+
贝叶斯网络序：上上周末写完上篇朴素贝叶斯分类后，连着上了七天班，而且有四天都是晚上九点下班，一直没有多少时间学习贝叶斯网络,所以更新慢了点，利用清明节两天假期，花了大概七八个小时，写了这篇博客，下面讲... 博文 来自： 至道
贝叶斯网络（belief network）及相关知识整理
07-11 阅读数 5585
贝叶斯网络（beliefnetwork）及相关知识频率派：认为theta是个固定的未知常数。认为样本是随机的，重点研究样本分布贝叶斯派：认为theta是不确定的未知数。认为样本是固定的，重点研究参数t... 博文 来自： Pancheng1的博客
贝叶斯网络（机器学习系列，持续更新中~）
09-20 阅读数 1234
在说贝叶斯规则（Bayesrule）和将贝叶斯规则用于图模型之前，先让大家了解下机器学习的四个范式（paradigms），也可以理解为四个流派；连接主义（connectionist）：用现在比较流行的... 博文 来自： MaoGW的博客
深入理解朴素贝叶斯（Naive Bayes）
08-12 阅读数 9436
文章转载自：https://blog.csdn.net/li8zi8fa/article/details/76176597朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝... 博文 来自： 大羚羊的学习博客
带你搞懂朴素贝叶斯分类算法
04-14 阅读数 13万+
最新人工智能论文：http://paperreading.club带你搞懂朴素贝叶斯分类算贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯... 博文 来自： 人工智能
贝叶斯网络框架
03-02 阅读数 7226
前言：文章主要的目的是介绍eBay所使用的一个贝叶斯网络的框架，博主通过阅读相关论文和源代码以及代码测试，慢慢熟悉了该框架的使用方法及主要思想。本文将尽量的阐述清楚贝叶斯网络的解决过程，如果你还不知道... 博文 来自： Step by step
matlab使用FULLBNT工具箱实现贝叶斯网络
02-17 阅读数 7665
基于matlab的贝叶斯网络工具箱BNT是kevinp.murphy基于matlab语言开发的关于贝叶斯网络学习的开源软件包，提供了许多贝叶斯网络学习的底层基础函数库，支持多种类型的节点（概率分布）、... 博文 来自： congzhao27的专栏
有向无环图（DAG）技术白话解读
05-20 阅读数 1万+
区块链技术非常热门，但随着越来越多人使用比特币、以太坊等区块链，使得效率低下的问题越来越突出。尤其是2017年6月以来，ICO市场爆炸式增长，人们疯狂的购买以太坊用于投资ICO，导致以太坊网络经常严重... 博文 来自： omnispace的博客
贝叶斯
08-31 阅读数 1295
一、相关公式1、条件概率公式设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditionalprobability)为：P... 博文 来自： shinecjj的博客
贝叶斯网络（2）
01-06 阅读数 164
目录贝叶斯网络中的精确推理通过枚举进行推理变量消元算法精确推理的复杂度团算法贝叶斯网络中的近似推理直接采样算法Markov链仿真推理通过枚举进行推理P(B∣j,m)=P(B,j,m)/P(j,m)=a... 博文 来自： sinat_31184961的博客
纯Python实现机器学习算法：贝叶斯网络
06-20 阅读数 288
Python机器学习算法实现在上一讲中，我们讲到了经典的朴素贝叶斯算法。朴素贝叶斯的一大特点就是特征的条件独立假设，但在现实情况下，条件独立这个假设通常过于严格，在实际中很难成立。特征之间的相关性限制... 博文 来自： yihuliunian的博客
贝叶斯网络应用在疾病预测
07-09 阅读数 1627
以下内容摘录自www.norsys.com，根据实例内容意译译文。贝叶斯网络应用实例一：胸部疾病诊所（ChestClinic）假想你是LosAngeles一名新毕业的医生，专攻肺部疾病。你决定建立一个... 博文 来自： 固本培元的专栏
hhh欢迎使用CSDN-markdown编辑器
09-18 阅读数 288
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中... 博文 来自： qq_43233643的博客
贝叶斯分类器
08-16 阅读数 2621
“种一棵树最好的时间是十年前，其次是现在” 博文 来自： cdknight_happy的专栏
随机采样和随机模拟：吉布斯采样Gibbs Sampling
05-12 阅读数 7万+
http://blog.csdn.net/pipisorry/article/details/51373090吉布斯采样算法详解为什么要用吉布斯采样什么是sampling?sampling就是以一定的... 博文 来自： 皮皮blog
贝叶斯方法优缺点
08-29 阅读数 7628
viewmode=contents”rel=”nofollow”target=”_blank”>寒小阳&&龙心尘时间：2016年2... 博文 来自： peiwang245的博客
对贝叶斯(Bayes)线性回归的理解（一）
05-31 阅读数 3082
线性回归假设:Y=β1X+β0+ϵY=β1X+β0+ϵY=\beta_1X+\beta_0+\epsilon我们假设数据具有以下形式：y=β1x+β0+ϵy=β1x+β0+ϵy=\beta_1x+\b... 博文 来自： 诗蕊的专栏
贝叶斯网络（1）- 基础概念
05-05 阅读数 1512
本文内容主要总结自coursera课程BayesianMethodsforMachineLearning一、什么是贝叶斯概率有一个问题，我们有一个硬币，怎么判断这个硬币投掷后，显示正面的概率呢？频率学... 博文 来自： shanesu的博客
全概公式和贝叶斯公式的理解及例题
10-22 阅读数 1703
转载自：https://blog.csdn.net/u011240016/article/details/52730807?utm_source=blogxgwz1#commentBox... 博文 来自： baidu_38172402的博客
贝叶斯网络上检查条件独立性
06-01 阅读数 1215
前两天做了一个在贝叶斯网络上检查子集间条件独立性的题，认真研究了一番。题目要求在一个贝叶斯网络模型中，给出X、Y、Z三个集合，检查在观察到集合Z的条件下，集合X和集合Y的条件独立性。算法如下。 1.... 博文 来自： qq_34560953的博客