序列标注模型

序列标注模型

  (2015-01-30 09:29:34)

转载▼

背景知识

序列标注模型被广泛应用于文本处理相关领域，例如分词、词性标注、命名实体识别等方面。现有的序列标注模型主要有HMM，MEMM 以及 CRF，通过对这几种自然语言处理中常用的序列标注模型进行对比，分析其各自的优缺点。

在介绍三种序列标注模型之前，首先需了解下产生式模型与判别式模型的概念，二者在分类器中经常被提及。假定输入X，类别标签Y：产生式模型估计联合概率P(x,y)，判别式模型估计条件概率P(y|x)。产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

1.        隐马尔科夫模型（HMM）

HMM是一种产生式模型，它采用一个联合概率将观测序列和状态序列结合在一起，通过训练参数来最大化拟合训练语料的联合概率，结构如图1所示。

图1  HMM结构图

图中Yn，Xn分别表示HMM的状态值和观察值，每一个位置可以看作是一个时刻t。从图中可以清楚地发现t时刻的状态只取决于t-1时刻的状态，即Yn仅取决于Yn-1，并且每个观察值Xn只由状态值Yn决定。即HMM是一个双重随机过程：①马尔可夫链，用来描述状态的转移；②随机过程，用来描述状态值和观察值之间的统计关系。

缺点：(1)为对联合概率分布进行建模，HMM引入两条独立性假设：第一，马尔科夫链在任意时刻的状态yi仅依赖于前一个状态yi-1；第二，任意时刻的观测xi只依赖于该时刻马尔科夫链的状态yi。这就导致HMM只能局限于部分上下文特征，无法充分利用更多有效的特征。(2)为定义观察值和状态值的联合概率，产生式模型必须列出所有可能的观察序列，这在实际操作中是很难实现的。

2.        最大熵隐马尔科夫模型（MEMM）

最大熵马尔可夫模型是一种判别式模型，它不需要HMM那样严格的独立性假设。MEMM是基于概率有限状态模型这样一个概念，该模型将观察序列看作是条件事件，而不是由状态生成的。它结合了MEM和HMM的优点，允许状态转移可以基于输入序列中的非独立性特征，使得MEMM在处理自然语言处理的任务时，性能优于HMM。MEMM是通过求局部最优的条件概率来获得最终的条件概率。MEMM的结构如图2所示。

图2  MEMM结构图

由图2可以看出，观察序列是作为条件，而不是生成的，因此图的分布指的是t时刻状态Yi所表示的随机变量的联合分布。

缺点：仅对局部求解条件概率，取其概率最大的标注作为最终的输出标注，导致标注偏置问题的产生，即凡是训练语料中未出现的情况全都忽略掉。

图3是一个对标记偏置进行解释的实例。

图3    Viterbi算法解码MEMM

图3中状态1倾向于转换到状态2，同时状态2倾向于保留在状态2；但是得到的最优的状态转换路径是1->1->1->1，这是因为状态2可以转换的状态比状态1要多，从而使转移概率降低，即MEMM倾向于选择拥有更少转移的状态。这就是标记偏置问题。

3.       条件随机场模型（CRF）

条件随机场也是一种判别式模型，是指在给定输入节点条件下计算输出节点的条件概率，其核心思想是利用无向图理论使序列标注的结果达到在整个序列上全局最优。CRF模型己被应用到自然语言处理的多个领域，如中文分词、命名实体识别等等。理论上，图的结构可以是任意的，但是当用于序列标记任务时，一般假设图是最简单和最通用的图结构，将其称为线性链条件随机场（Linear-chain CRF），结构如图3所示。

图3  Linear-chain CRF结构

优点：无需引入独立性假设，能够充分利用上下文信息特征；计算全局最优输出节点的条件概率，克服了最大熵马尔可夫模型存在的标记偏置问题。

缺点：训练代价大、特征函数复杂度高。

总结

三种模型都可以通过Viterbi等动态规划算法求得最优值。HMM模型是对转移概率和表现概率直接建模，统计共现概率。MEMM模型是对转移概率和表现概率建立联合概率，统计的是条件概率，容易陷入局部最优。CRF模型统计了全局概率，考虑了数据在全局的分布，而不是仅仅在局部归一化，解决了MEMM中的标记偏置问题。