基于条件随机场（CRF）的命名实体识别

　　很久前做过一个命名实体识别的模块，现在有时间，记录一下。

　　一、要识别的对象

　　　　人名、地名、机构名

　　二、主要方法

　　　　1、使用CRF模型进行识别(识别对象都是最基础的序列，所以使用了好评率较高的序列识别算法CRF)

　　　　2、使用规则对相关数据进行后过滤、

　　三、具体实现

　　　　1、训练数据的生成

　　　　　　主要使用了人民日报免费部分，以及一些及它从网上找到的资源（时间长了，记不住了，好像还自己标注了些）

　　　　2、模板的生成

　　　   　　使用的是Unigram,由于考虑到要识别的实体一般情况下没有长距离依赖 以及训练时的效率问题，所以模板没有写得过长。经过几次测试，最终确定的模板如下。　　

#Unigram

U00:%x[-3,0]

U01:%x[-2,0]

U02:%x[-1,0]

U03:%x[0,0]

U04:%x[1,0]

U05:%x[2,0]

U06:%x[3,0]

U07:%x[-3,0]/%x[-2,0]

U8:%x[-2,0]/%x[-1,0]

U9:%x[-1,0]/%x[0,0]

U10:%x[0,0]/%x[1,0]

U11:%x[1,0]/%x[2,0]

U12:%x[2,0]/%x[3,0]





# Bigram

B

 

　　　　3、参数寻优

　　　　　　参数寻优，使用网上提供的python脚本，进行参数寻优。（脚本的具体使用方法不在这里赘述）

　　　　4、迭代训练

　　　　　　　　a)使用初始的训练数据及调优过的参数进行训练

　　　　　　　　b)使用训练好的model对文本进行实体识别

　　　　　　　　c)对识别错误的结果进行人工标注，添加到训练集，转至步骤a) 

　　　　　　　　这里的采用了人工干预的方法，来提高识别高性能，可能有些麻烦，但这是个比较有效的方法。

　　　　5、总体性能

　　　　　　　　经测试，总体准确度（Accuracy)在94%以上。

　　　　　　　　注：没有经过严格的测试，只是取了300篇文章，对其中的实体标注了，然后用模型识别了一遍，统计了Acc，而recall几乎100%，我感觉测试文章比较少，所以这个测试结果可能不太严谨，由于最后领导感觉达到要求了，所以我也没有继续提高。

　　四、小结

　　　　　　　　1、首先来说，训练模型使用语料有点偏少，如果有大量的训练语料，第四步迭代训练的压力可能就会比较小。

　　　　　　　　2、总体来说，这个模块还是很快的做完了，效果也还可以。在这里主要感谢一下人民日报那几个月的免费语料，做模型最怕的就是没有基础数据，特别是人民日报这样的高质量的数据，有了这种高质量的数据，对于机器学习来说是事伴功倍。

转载请注明出处：本文地址 http://www.cnblogs.com/nocml/p/3543236.html