自然语言处理之文本处理步骤

1， 首先将全部单词转换为小写，并清除标点符号，将其标准化

2.    用分词器将这个段落或者句子分解成单个词

3.    删除停止词（如：go, to, i , the , that)等以减少需要处理的词汇

4.   有必要的话可以同时进行词干提取和词性还原，将词还原成词根或者词干，常见的步骤是先进行词根还原和词干提取。