NLP-文本预处理

文章目录

    • 1、文本预处理及其作用
    • 2、文本预处理中包含的主要环节
    • 3、文本处理的基本方法
    • 4、文本张量表示方法
    • 5、文本语料的数据分析
    • 6、文本特征处理
    • 7、数据增强方法

1、文本预处理及其作用

文本语料在输送给模型之前一般需要一系列的预处理工作,才能符合模型输入的要求。如:将文本转化成模型需要的张量,规范张量的尺寸等。而且科学的文本预处理环节还将有效知道模型超参数的选择,提升模型的评估指标

2、文本预处理中包含的主要环节

1 文本处理的基本方法

2 文本张量的表示方法

3 文本语料的数据分析

4 文本特征处理

5 数据增强方法

3、文本处理的基本方法

分词 词性标注 命名实体识别

4、文本张量表示方法

one-hot编码 word2vec word embedding

5、文本语料的数据分析

标签数量的分布 句子长度分布 词频统计与关键词词云

6、文本特征处理

添加n-gram特征 文本长度规范

7、数据增强方法

回译数据增强法

你可能感兴趣的:(nlp,自然语言处理,数据挖掘,人工智能)