Pyhon 自然语言处理(二)文本预处理流程

Python自然语言处理(二)文本预处理流程

完整的文本预处理的过程如下:

原始文本语料—>分词Tokenize—>词性标注POSTag—>词干化Lemma/Stemming—>去除停用词—>处理后的文本语料

1. Tokenize

import nltk
sent="hello,Python"
tokens=nltk.word_tokenize(sent)
print tokens
['hello', ',', 'Python']

2. 中文分词

import jieba #引入jieba分词包
seg_list=jieba.cut("他去了一趟南京市长江大桥",cut_all=True)#全模式
print "全模式:",'/'.join(seg_list)
Building prefix dict from the default dictionary ...


全模式:

Dumping model to file cache /tmp/jieba.cache
Loading model cost 3.598 seconds.
Prefix dict has been built succesfully.


 他/去/了/一趟/南京/南京市/京市/市长/长江/长江大桥/大桥
seg_list=jieba.cut("他去了一趟南京市长江大桥",cut_all=False)#精确模式,默认为精确模式
print "精确模式:",'/'.join(seg_list)
精确模式: 他/去/了/一趟/南京市/长江大桥
seg_list=jieba.cut_for_search("他去了一趟南京市长江大桥")#搜索引擎模式
print "搜索引擎模式:",'/'.join(seg_list)
搜索引擎模式: 他/去/了/一趟/南京/京市/南京市/长江/大桥/长江大桥

3. NLTK的Stemming

from nltk.stem.porter import PorterStemmer # 波特词干器
porter_stem=PorterStemmer()
porter_stem.stem('studying')
u'studi'
from nltk.stem.lancaster import LancasterStemmer#Lancaster词干器
LancasterStem=LancasterStemmer()
LancasterStem.stem('studying')
'study'
from nltk.stem import SnowballStemmer #Snowball词干器
snowball=SnowballStemmer('english')
snowball.stem('studying')
u'studi'

4. 基于WordNetLemmatizer的Stemming

from nltk.stem import WordNetLemmatizer
wordnet_lem=WordNetLemmatizer()
wordnet_lem.lemmatize('dogs')
u'dog'

5. NLTK标注POSTag

import nltk
text=nltk.word_tokenize('what does the fox say')
text
['what', 'does', 'the', 'fox', 'say']
nltk.pos_tag(text)

6. NLTK去除stopwords

from nltk.corpus import stopwords
# 先进行分词,得到wordlist
# 。。。
#然后filter进行筛选
filtered_words=[word for word in wordlist if word not in stopwords.words('english')]

你可能感兴趣的:(Python,NLP)