自然语言处理时，通常的文本清理流程是什么？

　　自然语言处理文本清理流程，主要分为二步：

　　1.文本预处理，我们的文本基本都是网络文本，主要是网页html的形式，网页中存在很多不必要的信息，比如说一些广告、导航栏，html、JS代码，注释等等，无用的价值信息，可以合理的清理掉，如果需要正文提取，可以利用标签用途、标签密度判定、数据挖掘思想、视觉网页块分析技术等等策略抽取出正文。

　　2.文本流的语言学处理，主要分为3小步：

　　1.分词经过文本预处理，我们会得到干净的文本，文本中起到关键作用的是一些词，甚至主要词就能起到决定文本取向。

　　2.词性标注，可以使用词性标注，通过很多分词工具分出来的会出现一个词，外加该词的词性，比如说啊是语气助词。

　　3.去除停用词，经过上面的步骤，我们已经把所有的词进行了分类。但是这些所有的词，并不都是我们所需要的，比如说句号，显然，句号对意思的表达没有什么效果。还有”是“、”的“等词，也没有什么效果。因为这些词在所有的文章中都大量存在，并不能反应出文本的意思，可以清理掉。

　　自然语言作为人类表达和交流思想最基本的工具，在人类社会活动中到处存在，如果计算机能够理解、处理自然语言，必将是人机交流的一大突破，在自然语言处理中，一定要知道计算机了解语言的难点。

---

1.模式识别应用于哪些领域，模式识别技术的发展趋势
http://www.duozhishidai.com/article-15389-1.html
2.计算机视觉与图像处理、模式识别和机器学习，之间有什么关系？
http://www.duozhishidai.com/article-4119-1.html
3.语音的识别过程主要分哪几步，常用的识别方法是什么？
http://www.duozhishidai.com/article-1739-1.html
4.自然语言理解过程主要有哪些层次，各层次的功能是怎么样？
http://www.duozhishidai.com/article-1726-1.html
5.如何快速入门NLP自然语言处理概述
http://www.duozhishidai.com/article-11742-1.html