python自然语言处理入门教程(一)

1、NLTK自然语言处理工具包

1.1 NLTK简介

NLTK是构建Python程序与人类语言数据工作的主要平台。它提供了易于使用的界面,以超过50语料库和词汇资源,如WordNet的,连同一套文字处理库进行分类,标记化,词干,标记,分析和语义推理,和活跃的论坛。

得益于动手指南介绍编程基础在旁边计算语言学课题,NLTK适合语言学家,工程师,学生,教育工作者,研究人员和行业用户的一致好评。 NLTK可用于Windows,Mac OS X和Linux。最重要的是,NLTK是一个免费,开源,社区驱动的项目。


1.2 windows下NLTK环境搭建

1.2.1 python安装

官网:https://www.python.org/

选择 2.7x版本进行下载,不建议下载3.X版本,因为现在很多python代码库还是基于旧的版本编写的,所以不建议使用3.X版本。安装完成后,使用打开自带的IDLE,结果如下:

python自然语言处理入门教程(一)_第1张图片

Note:

推荐编写python代码好用的IDE:pycharm,上手比较简单,文档较齐全

下载地址:http://www.jetbrains.com/pycharm/

附几个PyCharm4注册码:

name :newasp

=====LICENSE BEGIN =====

09086-12042010

00001EBwqd8wkmP2FM34Z05iXch1Ak

KI0bAod8jkIffywp2WalWZejIQ6AAu

AVVPbzHZpOvqvdJFHEBbvbXW2t1jQI

=====LICENSE END =====

 

name :newasp

=====LICENSE BEGIN =====

58877-12042010

00002h9ii68IdWfbdJz2UraWcsVxFY

!w1WD9cwRDMoW2pOUeC0WBqLAMo5PX

lQ7cE8qMukEYuWY6!EnjYWn!2EDTio

=====LICENSE END =====

 

name :newasp

=====LICENSE BEGIN =====

46753-12042010

000013xjAPHl95oQRCb"KnLsrXfWYa

L3aYClCOtBVysdtzBBPU5XCB3QUjLC

T1yMRB7YNC0d15A2cbwXTwXCwCjJEP

=====LICENSE END =====

 

name :newasp

=====LICENSE BEGIN =====

62458-12042010

00002r53OfrSCVqjsI0zdG5E4pMM5Z

dBAGbxVOX!OPwIkBqunfKf2zQDgECf

XrLosbjBEp!2JfFuydkblmqWPevvB0

===== LICENSE END =====

1.2.2 NLTK 安装

  • 下载NLTK及安装

官方网站:http://www.nltk.org/ 下载网址:https://pypi.python.org/pypi/nltk

由于是在windows环境下安装nltk,选择:

下载完成后,正常安装,在python安装目录下的能找到相应的NLTK库,作者机器路径如下:

C:\Python27\Lib\site-packages\nltk

  • 测试

安装完成后,进行测试:

python自然语言处理入门教程(一)_第2张图片

  • 下载NLTK数据源

输入import nltk如果没有出现异常,则表明nltk已经安装正确,但还需要下载相应的训练数据源,使用nltk.download()进行下载:

python自然语言处理入门教程(一)_第3张图片

得到结果如图:

python自然语言处理入门教程(一)_第4张图片

选择all,等待下载结束即可。

Note:

  • 可能出现的问题:ImportError:No module named yaml

该问题是由于没有安装pyyaml,下载地址:http://pyyaml.org/download/pyyaml/PyYAML-3.10.win32-py2.7.exe

下载安装即可。

1.3  NLTK自带方法进行自然语言处理

1.3.1   NLTK进行分句

函数:

sent_tokenize(text,language='english')

参数:

text : 将要被分割的语句文本

         language:Punkt分句程序指定模型名字,可忽略

返回值:

list类型:使用NTLK推荐分句程序得到的结果

示例:


1.3.2   NLTK进行分词

函数:

         word_tokenize(text,language='english')

参数:

         text:将要进行分词的句子文本

         language:Punkt分词程序指定模型名字,可忽略

返回值:

         list类型,使用NTLK推荐分词程序得到的结果

示例:

1.3.3   NLTK词性标注

词性标注的结果含义可参照作者的另一篇博文:(自然语言处理文档系列)Penn Treebank词性标记集

函数:

         pos_tag(tokens,tagset=None)

参数:

         tokens:list(str)类型,将要被标注单词的序列

         tagset:可忽略

返回值:

         list(tuple(str,str)),进行词性标注后的结果

示例:


1.3.4   NLTK命名实体识别(NER)

函数:

         ne_chunk(tagged_tokens,binary=False)

         使用推荐的NER工具包进行处理,处理之前需要利用词性标注的结果

参数:

         tagged_tokens:list(tuple(str,str)),NLTK进行词性标注的结果

         binary:

返回值:

示例:


1.3.5   句法分析

nltk没有好的parser,推荐使用stanfordparser,但是nltk有很好的树类,该类用list实现。可以利用stanfordparser的输出构建一棵python的句法树。关于stanfordparser在第3章中有详细介绍。

 

Note:

  • NLTK3.0官方文档     http://www.nltk.org/py-modindex.html


python自然语言处理入门教程(二)将详细介绍使用python调用Stanford NLP工具包以及如何使用该工具包进行自然语言处理任务,请继续关注~


你可能感兴趣的:(python,NLP,NLTK,自然语言处理,python自然语言处理,pycharm)