文本预处理——文本数据分析

目录

  • 文本数据分析
  • 中文酒店评价语料
    • 获得训练集和验证集的标签数量分布
    • 获取训练集和验证集的句子长度分布
    • 获取训练集和验证集的正负样本长度散点分布
    • 获得训练集和验证集不同词汇总数统计
    • 获得训练集上正负的样本的高频形容词词云
    • 获得验证集上正负的样本的形容词词云

文本数据分析

文本预处理——文本数据分析_第1张图片

中文酒店评价语料

文本预处理——文本数据分析_第2张图片
文本预处理——文本数据分析_第3张图片

获得训练集和验证集的标签数量分布

文本预处理——文本数据分析_第4张图片
文本预处理——文本数据分析_第5张图片
文本预处理——文本数据分析_第6张图片
在这里插入图片描述

获取训练集和验证集的句子长度分布

文本预处理——文本数据分析_第7张图片
文本预处理——文本数据分析_第8张图片
文本预处理——文本数据分析_第9张图片
文本预处理——文本数据分析_第10张图片
文本预处理——文本数据分析_第11张图片

获取训练集和验证集的正负样本长度散点分布

文本预处理——文本数据分析_第12张图片
在这里插入图片描述
在这里插入图片描述

获得训练集和验证集不同词汇总数统计

文本预处理——文本数据分析_第13张图片
文本预处理——文本数据分析_第14张图片

获得训练集上正负的样本的高频形容词词云

文本预处理——文本数据分析_第15张图片
文本预处理——文本数据分析_第16张图片
文本预处理——文本数据分析_第17张图片
文本预处理——文本数据分析_第18张图片

获得验证集上正负的样本的形容词词云

文本预处理——文本数据分析_第19张图片
文本预处理——文本数据分析_第20张图片
文本预处理——文本数据分析_第21张图片

你可能感兴趣的:(pytorch解决nlp,数据分析,深度学习,自然语言处理)