Stanford NLP+Python+中文配置使用与可视化

Stanford NLP下载

下载网址:https://stanfordnlp.github.io/CoreNLP/

要下载两个文件,一个是Stanford CoreNLP,一个是Chinese语言包(两个文件都挺大的,慢慢等吧)

安装包下载

Stanford NLP安装

1.下载安装jdk1.8

官网:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载对应版本即可

JDK下载

测试是否安装成功,在命令行输入命令“java -version”,显示jdk版本,如下:

查看JDK版本

2.安装配置stanford nlp与中文语言包

安装stanfordcorenlp

直接用pip命令安装,加上大清镜像,速度快无边~~跳舞

命令:

pip install stanfordcorenlp -i http://pypi.mirrors.ustc.edu.cn/simple/ --trusted-host pypi.mirrors.ustc.edu.cn

注意:这里如果报错:unable to execute 'gcc': No such file or directory

说明你的机器上没有安装gcc编译器。mac自带,但linux系统没有。用yum命令。

yum install gcc即可。

为了可视化安装nltk

最好再安装个nltk吧,跟解析没关系,主要是为了画图,让stanford parser的结果画成树,可视化。

安装命令:pip install nltk

然后运行python

import nltk

nltk.download()

下载一些nltk资源包。

配置中文解析

要parser中文,先把下载的Chinese.jar文件复制到/Users/***/stanford-corenlp-full-2018-10-05目录下。

3.运行

解析英文文本

代码如下:

from stanfordcorenlpimport StanfordCoreNLP

nlp = StanfordCoreNLP('/Users/***/stanford-corenlp-full-2018-10-05')

sentence ='Guangdong University of Foreign Studies is located in Guangzhou.'

print ('Tokenize:', nlp.word_tokenize(sentence))

print ('Part of Speech:', nlp.pos_tag(sentence))

print ('Named Entities:', nlp.ner(sentence))

print ('Constituency Parsing:', nlp.parse(sentence))#语法树

print ('Dependency Parsing:', nlp.dependency_parse(sentence))#依存句法

nlp.close()#释放,否则后端服务器将消耗大量内存

但是运行报错,文体出在了第二行:

PermissionError......AccessDenied,总之来说是权限问题,所以用sudo来运行这个python文件即可。

在命令行输入sudo python ***.py,得到结果如下:

斯坦福parser结果

解析中文文本

代码:

nlp = StanfordCoreNLP('/Users/wangwenhua/Downloads/stanford-corenlp-full-2018-10-05', lang='zh')#这里配置中文标示‘zh’

sentence ='清华大学位于北京。'

print(nlp.word_tokenize(sentence))

print(nlp.pos_tag(sentence))

print(nlp.ner(sentence))

print(nlp.parse(sentence))

print(nlp.dependency_parse(sentence))

结果:

中文解析结果

中文parser比英文慢一点。

4.可视化

虽然解析出来了,但是我们想画成树的样子来看一下,这里就用到了nltk,提供的tree可视化包。

代码:

from stanfordcorenlpimport StanfordCoreNLP

from nltk.treeimport Tree

nlp = StanfordCoreNLP('/Users/wangwenhua/Downloads/stanford-corenlp-full-2018-10-05', lang='zh')

sentence ='清华大学位于北京。'

tree=Tree.fromstring(nlp.parse(sentence))

tree.draw()

运行截图:

解析结果可视化

接下来相对依存句法分析的结果进行一些后处理,都可以针对nltk.tree这个类进行操作。

print(tree.height())#树的高度

print(tree.leaves())#树的叶子结点

tree.productions()#生成与树的非终端节点对应的结果

如下:

[ROOT -> IP, IP -> NP VP PU, NP -> NR NN, NR -> '清华', NN -> '大学', VP -> VV NP, VV -> '位于', NP -> NR, NR -> '北京', PU -> '。']

更多API参考NLTK官网:http://www.nltk.org/_modules/nltk/tree.html

你可能感兴趣的:(Stanford NLP+Python+中文配置使用与可视化)