linux下使用CRF++结合java做的命名实体识别demo

linux下使用CRF++结合java做的命名实体识别demo
命名实体识别自从MUC-6会议提出,经过多年的发展,现在已经成为一项成熟的技术。命名实体识别是诸多自然语言处理任务的前置条件。
命名实体识别的方法很多,今天我在这里写下我用CRF++做一个飞机名称识别的小demo。

系统:centos7.1
工具软件:JDK1.8.0、eclipse、gcc

1、CRF++下载和安装:

下载地址:https://sourceforge.net/projects/crfpp/files/crfpp/0.51/, 下载后安装:
进入解压的目录
./configure
make :make会报错,报不识别类型size_t ,在相应的文件加入size_t的头文件:stddef.h
su
make install
验证安装:crf_learn,出提示信息,安装成功。

2、CRF++预料训练:

CRF++自带4个样例,basenp、chunking、JapaneseNE、seg,做命名实体识别,最好的参照是JapaneseNE,它有4列:单词、词性、上下文连接词、标注。为了简便,在实验中选择单词、词性和标注做训练集(训练数据网上爬虫或者免费语料下载)。
我的训练数据格式:
更新 v O
了 ul O
机载 b O
电子 n O
系统 n O
, w O
用以 d O
替代 v O
陈旧 a O
的 uj O
轰 v B-N
教 v I-N
5 m I-N
、 w O
运 v B-N
教 v I-N
5 m I-N
、 w O
安 v B-N
- null I-N
24 m I-N
和 c O
安 v B-N
- null I-N
26 m I-N
教练 n O
型 k O
。 # O
模板解释见CRF++/doc,更深的原理待进一步学习。
生成model文件:命令参考/example/JapaneseNE/exec.sh 。参数详情见/doc。你也可以在java项目中调用ssh命名来执行。

3、CRF++编译为java可调用的so文件(win32为dll文件):

JNI,它提供了若干的API实现了Java和其他语言的通信(主要是C&C++)。此时需要将CRF++实现了JNI接口,我们可以不去关心jni的内部细节,只需将它编译。
编译工具要用到swig
安装命令: yum install swig
进入/swig目录,make
进入/java目录,make:会报错 jni.h、jni_md.h 缺少
输入命令:locate jni.h ,显示所在目录
输入命名:sudo scp /opt/jdk1.8.0_112/include/jni.h .
修改 CRFPP_warp.xx 中的#include jni.h> ——#include “jni.h”
make
生成CRFPP.jar 和 libCRFPP.so

4、java调用 so文件:

java调用见/java/test.java
有一点要注意:system.loadlibrary加载需要so文件在jvm指向的路径中,jvm路径可输出System.getProperty(“java.library.path”)获取。要将刚才生存的so文件软链接到jvm路径,ln -s 源路径 /usr/lib/libCRFPP.so 。调用要去掉lib和后缀,即System.loadLibrary(“CRFPP”);
tagger.add(“Confidence NN”);
tagger.add(“in IN”);
用分词工具词性分析,加入,我用的ANSJ。ansj_seg-3.7.3-all-in-one.jar就可搞定

代码

String text = “中国最新研制的空警-3000在上海机场试飞成功。”;
List term = ToAnalysis.parse(text);
new NatureRecognition(term).recognition();

    for(int i = 0; i < term.size(); i++){
        tagger.add(term.get(i).getName().toString()+" "+term.get(i).getNatureStr().toString());
    }

5、结果:

String text = “中国最新研制的空警-3000在上海机场试飞成功。”;
中国 ns O
最新 a O
研制 v O
的 uj O
空警 nr B-N
- null I-N
3000 m I-N
在 p O
上海 ns O
机场 n O
试飞 v O
成功 a O
。 w O

注:第一次下载的是 CRF++0.54版本,编译的so文件,在测试的时候报错。
没有去深入了解JNI工作机制,然后下载了CRF++0.51版本,同样的步骤,测试成功。

你可能感兴趣的:(自然语言处理)