近一周学习了概率图模型，总结下自己的理解，当然只是概括介绍我认为比较核心的概念，所以不会做细致的算法说明等，如果有不正确的地方欢迎大家指正
整个模型分类参考下面图
概率图模型是一类用图来表达的相关变量关系的概率模型，它以图为工具，点表示变量，边表示变量间的概率相关关系。
从图（1）可看见，概率图模型可分为基本的两类：有向图图模型(贝叶斯网络为代表)和无向图模型(马尔科夫网络为代表)。下面会大致介绍下：马尔科夫模型，有向图模型(贝叶斯网络，隐马尔科夫模型)。无向图模型(马尔科夫网络(马尔科夫随机场就是典型的马尔科夫网络)，条件随机场)
贝叶斯网络：
属于生成模型，借助有向无环图(DAG图)来刻画属性简的依赖关系，并使用条件概率表来描述属性的联合概率分布，这里重点是计算联合概率分布
例如：
方法：比如x1是x3，x4的父节点，父子节点有一定的概率依赖关系。然后通过右边的条件概率表给出所有这种父子依赖关系的概率表，就可以计算出属性x1,x2,x3....的联合概率分布定义：P(x1,x2,x3,x4,x5)=P(x1)P(x2)P(x3|x1)P(x4|x1,x2)P(x5|x2)，当然西瓜书中还分析了一些条件独立性的证明，有兴趣的自己可以阅读
1.学习：
如果都知道各个变量，各个属性间的依赖关系，只需要对各个条件概率表进行计数，就能够得到联合概率分布。但实际情况中几乎不会轻易得到所有的关系依赖，所有贝叶斯网络的首要任务是根据训练数据找出最“恰当”的贝叶斯网，也就是学习出属性间的依赖关系，得到联合概率分布。使用的是评分函数算法
2.推断
通过第一步的学习得到了联合概率分布，属性，变量间的依赖关系，也就是得到了贝叶斯网络后，就可以通过它来回答"查询"，及通过一些已知属性变量的观测值来预测一些其他的属性。比如图(1)中，通过x1来预测x3,x4等
2.1 近似推断(吉布斯采样)
现实情况中，网络的节点很多，很难通过贝叶斯网络定义的联合概率来精确计算后验概率，所以会使用吉布斯采样来近似推断
3.EM算法
EM算法是一种常用的估计参数隐变量的算法，是一种迭代的方法，步骤是：E步，通过随机初始化参数theta，通过训练数据推断出最优的隐变量Z。M步，通过Z，进一步调整参数theta
前面讨论都是假设样本已被观测到，也就是样本的"完整性"来做的，但实际情况很多都是"不完整的"，比如西瓜的根蒂已经脱落，就无法看出"蜷缩"和"硬挺"。这种变量我们称为隐变量，常用的EM算法来对隐变量进行填充计算
马尔科夫模型
马尔科夫描述了一类重要的随机变化过程，我们常常会考察一个随机变量序列，这些随机变化并不是相互独立的，每个随机变量的值依赖于这个序列前面的状态，可表示为
如果定义只与前一时刻有关系，那么称为一阶马尔科夫链
隐马尔科夫模型(HMM)
马尔科夫模型默认的是每个状态代表的一个可观察的序列，隐马尔科夫模型描述的是状态是隐藏的，不可观察的。还有一个可输出的观测序列。这种模型有两个随机，1是状态转移的随机，2是一个状态可观察值的随机。
1.其中几个重要的参数：a.状态转移概率，y1,y2....的转移概率。 b.输出观察概率y输出x的概率。c.初始状态概率，y1
2.HMM解决的问题
a.如何评估模型与观测序列之间的匹配程度，例如许多任务已有观察序列{x1,x2,x3...xn-1}求x(n)的最有可能值，就是转换为判定模型，P(x|theta)最大的匹配程度
b.根据观测序列推断出隐藏的模型状态，已经{x1,x2,x3...x(n)},求{y1,y2,y3...y(n)}。如语音识别中，观测值为语音符号，隐藏状态为文字
c.如何训练模型，使其能最好的描述观测数据，即调整模型参数[A,B,PI]，使得该观测序列出现的概率最大
马尔科夫随机场(马尔科夫网络)
马尔科夫随机场是典型的马尔科夫网络，是一种著名的无向图模型，多个变量之间的联合概率分布能够基于团分解为多个因子的乘积(可以和贝叶斯网对比，贝叶斯网可理解为基于各个父子节点分开乘积)
团：
对于图中的任意两点都有线相连，则称该结点子集为一个"团"，若在一个团中加入另外的节点都不再形成团，那么陈该该结点子集为"极大团"
势函数：
亦称"因子"(factor)，这是定义在变量子集上的非负实函数，主要用于定义概率分布函数:
条件随机场
是一种判别式无向图模型，对条件分布进行建模。试图对多个变量在给定观测值后的条件概率进行建模。具体说就是给定X={x1,x2,x3,....xn}和Y={y1,y2,y3...yn}然后建立模型P(Y|X)。然后对后面给定的(x11,x12,x....)直接使用P(Y|X)模型进行预测。标记变量y可以是结构型变量，即其分量直接具有某种相关性。
例如，NLP中处理词性标注任务中，观测数据为语句(单词序列)，标记为相应的词性序列，具有线性序列结构。另外在语法分析任务中，输出标记则是语法树，具有树形结构