2020-05-29 nlp_01之停用词过滤、stemming

停用词

把停用词、出现频率很低的词汇过滤掉。

原因：经常出现的或者频率很低的词，并没有实际意义的词，可以认为是噪声，会影响模型的判断，给模型带来一定的影响

目的：筛选出价值比较高的特征，可以把停用词理解成价值比较小的特征，可以忽略不计

例子：

英文： the  an  their

中文：的 啊 好 很好 等

同样也得根据具体的场景进行判断

对于情感分析的词：好，很好 是需要保留的

建议使用：已有的停用词库（如：NLTK），然后删除自己认为有用的词语

筛选规则： 将文本汇总分词之后， 筛选出频次小于10， 20，适当选择

 

stemming 

英文中： 还原或合并操作

如：went   go   going   把同样意义的词，还原成一个单词。会提升一定的

实现思路：

制定规则（语言学家去找规则，程序员负责设计）

如： sses  ------  ss     ies--------i        s------去掉      （*v*）ing-------去掉ing