【深度学习&NLP】数据预处理的详细说明（含数据清洗、分词、过滤停用词、实体识别、词性标注、向量化、划分数据集等详细的处理步骤以及一些常用的方法）
目录一、数据预处理简介二、进行数据预处理的原因1、文本中含有不必要的信息和噪声2、数据可能不一致或者不太规范3、文本需要标记和分词4、可能需要词形还原和词干提取(词性标注)5、需要将文本向量化处理三、数据预处理方法介绍及使用样例1、数据清洗2、分词3、停用词过滤4、词性标注5、实体识别6、词向量化一、数据预处理简介在深度学习中，数据预处理是一个重要的步骤。原始训练数据中，由于每一维特征的来源以及度