【NLP入门教程】九、停用词移除

停用词是指在文本中频繁出现但对于文本分析没有太多实际意义的词汇，如英语中的“the”、“is”、“and”等。在进行自然语言处理任务时，移除这些停用词可以降低数据维度，减小计算负担，同时提高模型的准确性。

1 停用词列表

不同的应用场景可能需要移除不同的停用词。为了方便起见，许多自然语言处理库和工具提供了预定义的停用词列表。例如，NLTK库提供了多种语言的停用词列表：

from nltk.corpus import stopwords

english_stopwords = stopwords.words("english")
print(english_stopwords)

当然，你也可以根据具体需求创建自定义的停用词列表。

2 移除停用词

移除停用词的过程通常涉及以下步骤：

1. 将文本分词，得到单词列表。