CRF分词的java实现

与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比，基于条件随机场（CRF）的分词对未登录词有更好的支持。本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用 双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。

开源项目

本文代码已集成到HanLP中开源：http://www.hankcs.com/nlp/hanlp.html

CRF简介

CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。

CRF训练

这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。

CRF解码

解码采用维特比算法实现。并且稍有改进，用中文伪码与白话描述如下：

首先任何字的标签不仅取决于它自己的参数，还取决于前一个字的标签。但是第一个字前面并没有字，何来标签？所以第一个字的处理稍有不同，假设第0个字的标签为X，遍历X计算第一个字的标签，取分数最大的那一个。

如何计算一个字的某个标签的分数呢？某个字根据CRF模型提供的模板生成了一系列特征函数，这些函数的输出值乘以该函数的权值最后求和得出了一个分数。该分数只是“点函数”的得分，还需加上“边函数”的得分。边函数在本分词模型中简化为f(s',s)，其中s'为前一个字的标签，s为当前字的标签。于是该边函数就可以用一个4*4的矩阵描述，相当于HMM中的转移概率。

实现了评分函数后，从第二字开始即可运用维特比后向解码，为所有字打上BEMS标签。

实例

还是取经典的“商品和服务”为例，首先HanLP的CRFSegment分词器将其拆分为一张表：

  
  
  
  

   
   
   
   
商 null 
   
   
   
   
品 null 
   
   
   
   
和 null 
   
   
   
   
服 null 
   
   
   
   
务 null 
  
  
  
  

null表示分词器还没有对该字标注。

代码

上面说了这么多，其实我的实现非常简练：

  
  
  
  

   
   
   
   
/**
   
   
   
   
 * 维特比后向算法标注
   
   
   
   
 *
   
   
   
   
 * @param table
   
   
   
   
 */
   
   
   
   
public void tag(Table table)
   
   
   
   
{
   
   
   
   
    int size = table.size();
   
   
   
   
    int tagSize = id2tag.length;
   
   
   
   
    double[][] net = new double[size][tagSize];
   
   
   
   
    for (int i = 0; i < size; ++i)
   
   
   
   
    {
   
   
   
   
        LinkedList<double[]> scoreList = computeScoreList(table, i);
   
   
   
   
        for (int tag = 0; tag < tagSize; ++tag)
   
   
   
   
        {
   
   
   
   
            net[i][tag] = computeScore(scoreList, tag);
   
   
   
   
        }
   
   
   
   
    }
   
   
   
   
 
   
   
   
   
    if (size == 1)
   
   
   
   
    {
   
   
   
   
        double maxScore = -1e10;
   
   
   
   
        int bestTag = 0;
   
   
   
   
        for (int tag = 0; tag < net[0].length; ++tag)
   
   
   
   
        {
   
   
   
   
            if (net[0][tag] > maxScore)
   
   
   
   
            {
   
   
   
   
                maxScore = net[0][tag];
   
   
   
   
                bestTag = tag;
   
   
   
   
            }
   
   
   
   
        }
   
   
   
   
        table.setLast(0, id2tag[bestTag]);
   
   
   
   
        return;
   
   
   
   
    }
   
   
   
   
 
   
   
   
   
    int[][] from = new int[size][tagSize];
   
   
   
   
    for (int i = 1; i < size; ++i)
   
   
   
   
    {
   
   
   
   
        for (int now = 0; now < tagSize; ++now)
   
   
   
   
        {
   
   
   
   
            double maxScore = -1e10;
   
   
   
   
            for (int pre = 0; pre < tagSize; ++pre)
   
   
   
   
            {
   
   
   
   
                double score = net[i - 1][pre] + matrix[pre][now] + net[i][now];
   
   
   
   
                if (score > maxScore)
   
   
   
   
                {
   
   
   
   
                    maxScore = score;
   
   
   
   
                    from[i][now] = pre;
   
   
   
   
                }
   
   
   
   
            }
   
   
   
   
            net[i][now] = maxScore;
   
   
   
   
        }
   
   
   
   
    }
   
   
   
   
    // 反向回溯最佳路径
   
   
   
   
    double maxScore = -1e10;
   
   
   
   
    int maxTag = 0;
   
   
   
   
    for (int tag = 0; tag < net[size - 1].length; ++tag)
   
   
   
   
    {
   
   
   
   
        if (net[size - 1][tag] > maxScore)
   
   
   
   
        {
   
   
   
   
            maxScore = net[size - 1][tag];
   
   
   
   
            maxTag = tag;
   
   
   
   
        }
   
   
   
   
    }
   
   
   
   
 
   
   
   
   
    table.setLast(size - 1, id2tag[maxTag]);
   
   
   
   
    maxTag = from[size - 1][maxTag];
   
   
   
   
    for (int i = size - 2; i > 0; --i)
   
   
   
   
    {
   
   
   
   
        table.setLast(i, id2tag[maxTag]);
   
   
   
   
        maxTag = from[i][maxTag];
   
   
   
   
    }
   
   
   
   
    table.setLast(0, id2tag[maxTag]);
   
   
   
   
}
  
  
  
  

标注结果

标注后将table打印出来：

  
  
  
  

   
   
   
   
CRF标注结果
   
   
   
   
商 B 
   
   
   
   
品 E 
   
   
   
   
和 S 
   
   
   
   
服 B 
   
   
   
   
务 E
  
  
  
  

最终处理

将BEMS该合并的合并，得到：

  
  
  
  

   
   
   
   
[商品/null, 和/null, 服务/null]
  
  
  
  

然后将词语送到词典中查询一下，没查到的暂时当作nx，并记下位置（因为这是个新词，为了表示它的特殊性，最后词性设为null），再次使用维特比标注词性：

  
  
  
  

   
   
   
   
[商品/n, 和/cc, 服务/vn]
  
  
  
  

新词识别

CRF对新词有很好的识别能力，比如：

  
  
  
  

   
   
   
   
CRFSegment segment = new CRFSegment();
   
   
   
   
segment.enablePartOfSpeechTagging(true);
   
   
   
   
System.out.println(segment.seg("你看过穆赫兰道吗"));
  
  
  
  

输出：

  
  
  
  

   
   
   
   
CRF标注结果
   
   
   
   
你 S 
   
   
   
   
看 S 
   
   
   
   
过 S 
   
   
   
   
穆 B 
   
   
   
   
赫 M 
   
   
   
   
兰 M 
   
   
   
   
道 E 
   
   
   
   
吗 S 
   
   
   
   
[你/rr, 看/v, 过/uguo, 穆赫兰道/null, 吗/y]
  
  
  
  

null表示新词。