CRF 理解

CRF概念

CRF(conditional random field) 条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型．　它在观测序列的基础上对目标序列进行建模．重点解决　序列化标注的问题，条件随机场的模型既具有判别式模型的优点，又具有产生式模型考虑到上下文标记时间的转移概率，　以序列化形式进行全局参数优化和解码的特点，解决了其他判别式模型（如最大熵马尔可夫模型）难以避免的标记偏置问题．

条件随机场理论（CRFs）可以用于序列标记，数据分割，组快分析等自然语言处理任务中．　在中文分词，中文人名识别，歧义消解等汉语自然语言处理任务中都有应用，表现很好．

CRF++系统简介：优缺点

　
该模型是在给定需要标记的观察序列的条件下，计算整个标记的联合概率，而不是在给定当前状态下，定义一个状态的分布．标记序列为条件属性，可以让ＣＲＦ很好地拟合现实数据，而在这些数据中，标记序列的条件概率依赖于观测序列中非独立的，相互作用的特征．并通过赋予特征以不同权值来表示特征的重要程度．

隐马尔可夫模型存在两个假设：输出独立性假设和马尔可夫性假设．一个最大的缺点就是由于其输出独立性假设，他要求序列数据严格相互独立才能保证推到的正确性，导致其不能考虑山下文特征，限制了特征的选择．
最大熵隐马模型则解决了这一问题，可以任意地选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题（label bias），即凡是训练语料中未出现的情况全部忽略掉．

条件随机场则很好地解决了这一问题，它使用了一种概率图模型，具有表达长距离依赖性和交叠性特征的能力，能较好地解决标注偏置的问题．它并不再每一个节点进行归一化，儿是所有特征进行全局归一化，因此可以求得全局的最优值．

目前条件随机场的训练和解码的开源工具还只支持链式的序列，复杂的尚不支持，而且训练时间很长，但效果好可以．