概率模型(probabilistic model)提供了一种描述框架,将学习任务归结于计算变量的概率分布。在概率模型中,利用已知变量推测未知变量的分布称为推断(inference),其核心是如何基于可观测变量推测出未知变量的条件分布。假定所关心的变量集合为Y,可观测变量集合为O,其他变量的集合为R。
给定一组观测变量值,推断就是要由P(Y,R,O)或P(Y,R|O)得到条件概率分布P(Y|O)
概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型。它以图为表示工具,最常见的是用一个结点表示一个或一组随机变量,结点之间的边表示变量间的概率相关关系,即变量关系图。
根据边的性质不同,概率图模型可大致分为两类
隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯网(dynamic Bayesian network),主要用于时序数据建模。
隐马尔可夫模型中的变量可以分为两组:
隐马尔可夫模型各变量的依赖关系如下图。在任一时刻,观测变量的取值仅依赖于状态变量,即 xt 仅由 yt 确定;任一时刻的状态变量仅依赖于其上一时刻的状态变量,即 yt 仅依赖于 y(t-1)。这就是马尔可夫链(Markov chain),即:系统下一时刻的状态仅由当前状态决定,不依赖于以往的任何状态。
为确定一个隐马尔可夫模型,需要以下三组参数:
从而,隐马尔可夫模型通常使用 λ=[A, B, π] 来表示。
马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫网,这是一种无向图模型。图中每个结点表示一个或一组变量,结点之间的边表示两个变量之间的依赖关系。马尔可夫随机场有一组势函数(potential functions),亦称因子(factor),这是定义在变量子集上的非负实函数,主要用于定义概率分布函数。
在一个马尔可夫随机场中定义如下概念:
马尔可夫随机场中,所有变量的联合概率可以通过团来定义,每个因子仅与一个团相关。若所有的团构成集合C,与团Q相关的变量集合记为xQ,则联合概率定义为:
其中ψQ为与团Q对应的势函数,用于对团Q中的变量关系进行建模
称为规范化因子,一般很难计算,所以往往不需要Z的精确值
为了减少团的数量同时保证满足每个因子仅与一个团相关这个条件,通常使用极大团Q*来计算,使用极大团定义的联合概率为:
定义如下概念:
若马尔可夫随机场中,结点集A中的结点到B中的结点都必须经过结点集C中的结点,则称结点集A和B被结点集C分离,结点集C称为分离集(separating set),如图所示:
势函数定量地刻画变量集xQ中变量之间的相关关系,是非负函数,且在所偏好的变量取值上有较大的函数值,势函数常用指数函数定义:
条件随机场(Conditional Random Field,CRF)是一种判别式无向图模型,对条件分布进行建模。隐马尔可夫模型和马尔可夫随机场为生成式模型,直接对联合分布进行建模。
条件随机场试图对多个变量在给定观测值后的条件概率进行建模。具体来说,若令x={x1, x2, …, xn}为观测序列,y={y1, y2, …, yn} 为与之相应的标记序列,则条件随机场的目标是构建条件概率模型P(y|x)。
令G=
则G=
理论上来说,图G可具有任意结构,只要能表示标记变量之间的条件独立性关系即可。但在现实应用中,尤其是对标记序列建模时,最常用的仍是如下图所示的链式结构,即链式条件随机场(chain-structured CRF):
条件随机场中,通过选用指数势函数并引入特征函数(feature function),条件概率被定义为:
其中tj是定义在观测序列的两个相邻标记位置上的转移特征函数(transition feature function),用于刻画相邻标记变量之间的相关关系以及观测序列对它们的影响,sk是定义在观测序列的标记位置i上的状态特征函数(status feature function),用于刻画观测序列对标记变量的影响,λj和μk为参数,Z为规范化因子。
全文参考:周志华 著 《机器学习》
转载请注明出处,本文永久更新链接:小天才的杂货铺-学习笔记