Hanlp中使用纯JAVA实现CRF分词

阅读更多

 

与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比,基于条件随机场(CRF)的分词对未登录词有更好的支持。本文(HanLP)使用纯Java实现CRF模型的读取与维特比后向解码,内部特征函数采用 双数组Trie(DoubleArrayTrie)储存,得到了一个高性能的中文分词器。

开源项目

本文代码已集成到HanLP中开源:http://hanlp.com/

CRF简介

CRF是序列标注场景中常用的模型,比HMM能利用更多的特征,比MEMM更能抵抗标记偏置的问题。


Hanlp中使用纯JAVA实现CRF分词_第1张图片
 

CRF训练

这类耗时的任务,还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型,请参考《CRF++模型格式说明》。

CRF解码

解码采用维特比算法实现。并且稍有改进,用中文伪码与白话描述如下:

首先任何字的标签不仅取决于它自己的参数,还取决于前一个字的标签。但是第一个字前面并没有字,何来标签?所以第一个字的处理稍有不同,假设第0个字的标签为X,遍历X计算第一个字的标签,取分数最大的那一个。

如何计算一个字的某个标签的分数呢?某个字根据CRF模型提供的模板生成了一系列特征函数,这些函数的输出值乘以该函数的权值最后求和得出了一个分数。该分数只是“点函数”的得分,还需加上“边函数”的得分。边函数在本分词模型中简化为f(s',s),其中s'为前一个字的标签,s为当前字的标签。于是该边函数就可以用一个4*4的矩阵描述,相当于HMM中的转移概率。

实现了评分函数后,从第二字开始即可运用维特比后向解码,为所有字打上BEMS标签。

实例

还是取经典的“商品和服务”为例,首先HanLPCRFSegment分词器将其拆分为一张表:


Hanlp中使用纯JAVA实现CRF分词_第2张图片

null表示分词器还没有对该字标注。

代码

上面说了这么多,其实我的实现非常简练:


Hanlp中使用纯JAVA实现CRF分词_第3张图片
 
Hanlp中使用纯JAVA实现CRF分词_第4张图片
 

标注结果

标注后将table打印出来:


Hanlp中使用纯JAVA实现CRF分词_第5张图片
 

最终处理

BEMS该合并的合并,得到:



 

然后将词语送到词典中查询一下,没查到的暂时当作nx,并记下位置(因为这是个新词,为了表示它的特殊性,最后词性设为null),再次使用维特比标注词性:



 

新词识别

CRF对新词有很好的识别能力,比如:



 

输出:


Hanlp中使用纯JAVA实现CRF分词_第6张图片
 

null表示新词。

 

转载自hankcs的博客

  • Hanlp中使用纯JAVA实现CRF分词_第7张图片
  • 大小: 64.7 KB
  • Hanlp中使用纯JAVA实现CRF分词_第8张图片
  • 大小: 9.8 KB
  • Hanlp中使用纯JAVA实现CRF分词_第9张图片
  • 大小: 63.3 KB
  • Hanlp中使用纯JAVA实现CRF分词_第10张图片
  • 大小: 72.9 KB
  • Hanlp中使用纯JAVA实现CRF分词_第11张图片
  • 大小: 6.8 KB
  • Hanlp中使用纯JAVA实现CRF分词_第12张图片
  • 大小: 7.3 KB
  • Hanlp中使用纯JAVA实现CRF分词_第13张图片
  • 大小: 5 KB
  • Hanlp中使用纯JAVA实现CRF分词_第14张图片
  • 大小: 16.9 KB
  • Hanlp中使用纯JAVA实现CRF分词_第15张图片
  • 大小: 16.3 KB
  • 查看图片附件

你可能感兴趣的:(Hanlp中使用纯JAVA实现CRF分词)