自然语言处理实验演示-16.高级文本分词器除了基本的文本分词word_tokenize，NLTK还提供了更多的针对特定NLP任务的高级文本分词标记工具。

1、NLTK下载punkt并放置文件fromnltkimportword_tokenizesents=[sent1,sent2]print(word_tokenize(sent1))报错：D:\Anaconda3

importpandasaspdimportnltkfromnltkimportne_chunk,word_tokenize,pos_tagfromcollectionsimportCounterfromwordcloudimportWordCloudimportmatplotlib.pyplotaspltfromconcurrent.futuresimportThreadPoolExecutor

magtech.com.cn/Jwk_infotech_wk3/article/2017/2096-3467/2096-3467-1-3-62.shtml发现了一篇高大上的文章经过思路启发，做了词干提取和统一小写words=word_tokenize

原因是like和hate的词性在字典里居然被算作IN和NNa_sentence='likehate'token=word_tokenize(a_sentence)pos_tag(word_tokenize

使用nltk中的方法：word_tokenize分割单词sent_tokenize分割句子注意：NLTK分词或者分句以后，都会自动形成列表的形式词性标注说明：列表中每个元组第二个元素显示为该词的词

Resourcepunktnotfound.PleaseusetheNLTKDownloadertoobtaintheresource错误解决方案一、首先前提是已经安装了python的nltk库（见下图），目的是调用nltk库的word_tokenize

通常，NLP无法一下子处理完整的段落或句子，因此，第一步往往是分句和分词分词的话，对于英语句子，可以使用NLTK中的word_tokenize函数，对于中文句子，则可使用jieba模块语料及词性标注词性标注就是给每个词打上词类标签

NLTK详细功能介绍…………………………hhhh更新ing提示Resourcepunktnotfound因为作业需要，就用了NLTK里面的分词（word_tokenize()），还有提取词干（PorterStemmer

对于英语句子，可以使用NLTK中的word_tokenize函数，对于中文句子，则可使用jieba、ltp

nltk自然语言处理工具箱对句子进行分词：word_tokenize词根还原：lemmatizer

1.分句SentencesSegment：使用nltk中的punkt句子分割器进行断句加载：nltk.data.load('tokenizer/punkt/english.pickle')importnltkfromnltk.tokenizeimportWordPunctTokenizerimportnumpyasnp#输入一个段落，分成句子（Punkt句子分割器）paragraph="Life 

词形归一标注词性去停用词统计词频生成英文词云分词先将文档读入，然后全部变为小写txt=open("English.txt","r").read()txt=txt.lower()#将英文全部变为小写中文分词需要专门的方法：英文分词就可以直接使用word_tokenize

tokenizerfromnltkimportword_tokenizecontent=word_tokenize(html_doc.decode('utf8'))但是這個就不能去除標點符號了RegexpTokenizerfromnltk.tokenizeimportRegexp

fromnltkimportword_tokenizefromnltkimportTexttokens=word_tokenize("Hereissomenotveryinterestingtext")

方法计算不同词之间的相关性fromnltkimportword_tokenizes='ConcurrenttherapywithORENCIAandTNFantagonistsisnotrecommended'token=word_tokenize

词形还原（lemmatization），是把一个词汇还原为一般形式（能表达完整语义），方法较为复杂；而词干提取（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义），方法较为简单。Stemming（词干提取）：基于语言的规则。如英语中名词变复数形式规则。由于基于规则，可能出现规则外的情况。#PorterStemmer基于Porter词干提取算法fromnltk.stem.porte