一、图模型
概率分布的图形表示被称为图模型(probabilistic graphic models)，一个图由结点(nodes)和他们之间的链接(links)组成。
在概率图模型中。每个结点表示一个随机变量（或一组随机变量），链接表示这些变量之间的概率关系。这样，图模型描述了联合概率分布在所有随机变量上能够分解为一组因子乘积的方式，每个因子只依赖于随机变量的一个子集。
我们首先讨论贝叶斯网络(Bayesian network)，这个模型中，图之间的链接有一个特定的方向，用箭头表示。另一大类图模型时马尔科夫随机场(Markov random fields)，也被称为无向图模型(undirected graphical modles)，这个模型中，链接没有箭头，没有方向性质。
有向图对于表示随机变量之间的因果关系很有用，而无向图对于表示随机变量之间的软限制比较有用。为了求解推断问题，通常比较方便的做法是把有向图和无向图都转化成一个不同的表示形式，被称为因子式。
我们考虑的有向图要满足一个重要的限制，即不能存在有向环。在图中bungle存在这样的路径：从某个结点开始，沿着链接箭头的方向运动。结束点为起点。这种没有有向环的图被称为有向无环图，或者DAG。
二、有向图模型
1.贝叶斯网络
贝叶斯网亦称“信念网”，它借助有向无环图(Directed Acyclic Graph,简称DAG）来刻画属性之间的依赖关系，并使条件概率表( Conditional Probability Table，简称CPT）来描述属性的联合概率。
通过使用概率的乘积归则，我们可以将联合概率分布写成下面的形式
这个分解方式对任何联合概率分布的选择都成立。每个结点的输入链接包括所有以编号低于当前结点编号的节点为起点的链接，我们说这个图是全链接的，因为每个结点之间都存在一个链接。
到目前为止，我们操作的对象都是一个完全一般的联合概率分布，真正传递出图表示的概率分布性质的有趣信息是图中链接的损失。
我们可以根据这张图，写出对应的联合概率表达式。联合概率表达式是由一系列条件概率的乘积组成，每一项对应图中的一个结点。每个这样的条件概率分布只以图中对应结点的父结点为条件。例如，为条件。于是，7个变量的联合概率分布为
现在我们说明给定有向图和变量上对应的概率分布之间的一般关系。在图的所有结点上定义的联合概率分布由每个结点上的条件概率分布的乘积表示，每个条件概率都是图中结点的父结点所对应的变量。因此，对于一个有K个结点的图，联合概率为
其中，表示的父结点，
2.条件独立
多变量概率分布的一个重要概率是条件独立，考虑三个变量a,b,c，并且假设给定b,c条件下a的条件分布不依赖于b的值，即
我们说，给定c的条件下，a条件独立于b。如果我们考虑a,b的联合分布，我们可以以稍微不同的形式表示，即
因此我们看到了，以c为条件，a和b的联合概率分布为a的边缘概率分布和b的边缘概率分布的乘积(全部以c为条件）。这个必须对c的所有可能取值成立，而不是某些特定的c值。有时会用条件独立的见解记号。
(1)图的三个例子
(a) 形式1：tail-to-tail
以c为条件，很容易地写出给定c的条件下。a,b的联合概率分布，形式为
结点c被称为关于这个路径“尾到尾”(tail-to-tail)，因为结点与两个箭头的尾部相连。这样的一个链接结点a和结点b的路径存在使得结点相互依赖。然而，我们以结点c为条件时，被用作条件的结点“阻隔”了从a到b的路径，使得a和b变得条件独立了。
(b) 形式3：head-to-tail
对应这张图的联合概率分布可以得到
我们可以考察a和b是否相互独立，方法是对c积分或求和，结果为
这通常不能分解成p(a)p(b)，因此 a,b不相互独立
从而我们又得到条件独立性质
结点c被称为关于从结点a到结点b的路径"从头到尾"(head to tail)。这样的一个路径连接了节点a和结点b，并且使他们存在依赖关系。如果我们现在观察结点c，那么这个观测“阻隔”了从a到b的路径，因此
(c) 形式2：head-to-head
联合概率分布为
当没有变量是观测变量时。对公式两侧关于c积分或求和
因此，当没有变量被观测时，a和b是独立的
假设我们以c为条件，a和b的条件概率为
这通常无法被分解为乘积p(a)p(b)，因此，以c为条件，a,b不独立
图形上，我们说结点c关于从a到b的最短路径是“头到头”(head-to-head)，因为它连接两个箭头，当结点c没有被观测到时，它“阻隔”了路径，从而变量a,b是独立的。然而，以c为条件，路径被“解除阻隔”，使得a,b相互依赖了。
总之，一个尾到尾结点或者头到尾结点使得一条路径没有阻隔，除非它被观测到，之后它就阻隔了路径。相反，一个头到头结点如果没有被观测到，那么它阻隔了路径，但是一旦这个结点或者至少一个后继被观测到，那么路径就被“接触阻隔”了
（2）d划分
我们希望弄清楚，一个有向无环图是否暗示了一个特定条件依赖表述。为了解决这个问题， 我们考虑从A中任意结点的所有可能路径，我们说这个路径被“阻隔”，如果它包含一个节点满足下面两个性质中的一个
- 路径上的箭头以头到尾或者尾到尾交汇于这个结点，且这个结点在集合C中
- 箭头以头到头的方式交汇于这个结点，且这个结点和它所有的后继结点都不在集合C中
如果所有的路径都被“阻隔”没那么我们说C把A从B中d-划分开，且图中所有变量的联合概率分布将会满足
考虑以元高斯分布的后验概率分的问题，这可以表示为有向图的形式，其中联合概率分布由先验概率分布个一组条件分布表示，其中。在实际应用中，我们观测到,我们的目标是推断，我们现在以为条件，考虑观测的联合概率分布。使用d划分，我们注意到从任意结点到其他结点有一条唯一的路径，这个路径关于观测结点是尾到尾的。每条这样的路径都是阻隔的，因此给定，观测是独立的，因此
然而，如果我们对进行积分，通常观测不再成立，即
这里是一个潜在变量，未被观测到。
三、无向图模型
1.马尔科夫随机场
一个马尔科夫随机场(Markov random field)，也被称为马尔科夫网络或者无向图模型，包含一组结点，每个结点都对应着一个变量或一组变量。链接是无向的，即不含箭头。
2.条件独立性质
通过移除图中链接的方向性，父节点和子结点的非对称性也被移除了，因此头到头结点的微妙性也就不存在了。
为了判断由图定义的概率分布是否满足这个性质，我们考虑连接集合A结点和B结点的所有可能的路径。
- 如果所有这些路径都通过了集合C中的一个或多个节点，那么这样的路径都被“阻隔”，因此条件独立
- 假设从图中把集合C中的节点以及这些结点相连的链接都删掉，然后考察是否存在一条从A中任意结点到B中任意结点的路径。如果没有这样的路径，那么条件独立性质一定成立。
3.分解性质
我们现在在寻找无向图的一个分解规则，对应于上述条件独立性质检测。与之前一样，这涉及到将联合概率分布p(x)表示为在图的局部范围内的变量集合上定义的函数的乘积。
如果我们考虑两个节点的集合，他们不存在链接，那么给定图中的所有其他结点，这两个节点一定是条件独立的。这是因为两个节点之间没有直接的路径，并且所有其他结点都通过了观测结点，这个条件独立性可表述为
其中表示所有变量的集合。于是，联合概率分布的分解一定让不出现在同一个因子中，从而让属于这个图的所有可能的概率分布都满足条件独立性质。
团块图中结点的一个子集，使得在这个子集中的每对结点之间都存在连接。换句话说，团块的节点集合是全连接的。最大团块：不可能将图中的任何一个其他的节点包含到这个团块中而不破坏团块的性质。
于是，我们将联合概率分布分解的因子定义为团块中变量的函数。让我们将团块记作C，将团块中的变量记作，这样联合概率分布可以写成图的最大团块的势函数(potential function)的乘积形式。
这里，Z有时被称为划分函数(partition function)，是一个归一化常数，等于
确保了公式(1)可以被正确地归一化。通过只考虑的势函数，我们确保了,在公式(2)中，我们假设x是由离散变量组成，但是这个框架也同样适用于连续变量，或者两者结合的情形，将求和替换成 恰当的求和与积分的组合.
注意，我们不把势函数的选择限制为具有具体的概率含义（例如边缘概率分布或条件概率分布）的函数，这与有向图情形相反。在有向图的情形中，每个因子表示对应变量以它父节点为条件的条件概率分布。然而，在特殊清凉，例如无向图是通过有向图构建的情况，势函数可能确实有这样的意义。
归一化常数的存在是无向图的一个主要的缺点。如果我们的模型中有M个离散点，每个结点K个状态，那么归一化的计算涉及到对个状态求和，因此（在最坏的情况下）,计算量是模型大小的指数形式。对于参数学习来说，划分函数是必要的，因为划分函数是控制势函数的任何参数的函数。对于局部边缘概率，我们可以计算未归一化的联合概率分布，然后在计算的最后结点显式地归一化边缘概率。
3.与有向图的关系
取一个使用有向图的模型，尝试将其转化成为无向图。
有向图的联合概率分布由一组条件概率分布的乘积给出,形式为
现在假设我们将其转化成五香图，在无向图中，最大团块为相邻结点对，联合概率为
我们只需令
通常，为将有向图转化成无向图，我们7首在图中每个结点的所有父结点之间添加额外的无向链接，然后去掉原始链接的箭头，得到道德图。与父结点结婚的过程称为伦理，去掉箭头后生成无向图被称为道德图。
同时包含有向链接和无向链接的被称为链图。
‘’