python的NLTK库如何使用

NLTK是一个自然语言处理工具包，它可以完成词频统计，分词，词性标注等常见任务。要使用NLTK，首先需要安装它。代码如下：

!pip install nltk

下面是一个示例代码：

import nltk

# 下载必要的数据包
nltk.download("punkt")

# 分词
text = "这是一个NLTK的示例代码"
tokens = nltk.word_tokenize(text)
print(tokens)

程序的输出：

['这是', '一个', 'NLTK', '的', '示例代码']

NLTK库有一个非常丰富的资源库，可以用于分析文本、语音和词汇结构。下面是一个使用NLTK库进行词频统计的代码示例：

import nltk
nltk.download('stopwords')
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
 
# 读取文本内容
text = "这是一个使用NLTK库进行词频统计的代码示例"
 
# 分词
words = word_tokenize(text)
 
# 去除停用词
stop_words = set(stopwords.words("english"))
filtered_words = [word for word in words if word.lower() not in stop_words]
 
# 统计词频
word_frequencies = nltk.FreqDist(filtered_words)
 
# 输出词频
print(word_frequencies.most_common(10))

这段代码先下载了一个停用词（stopwords）的语料库，然后对文本内容进行了分词，去除了停用词，最后使用NLTK的FreqDist函数统计了词频，并输出了前10个最高频的词。

python库的简单实例及介绍 - 知乎 (zhihu.com)

python傻瓜式入门 - 知乎 (zhihu.com)

人间清醒 - 知乎 (zhihu.com)