NLP(新闻文本分类)——数据读取与数据分析

初始数据

import pandas as pd
df_train = pd.read_csv('E:/python-project/deep-learning/datawhale/nlp/news-data/train_set.csv/train_set.csv', sep='\t')
df_test = pd.read_csv('E:/python-project/deep-learning/datawhale/nlp/news-data/test_a.csv/test_a.csv', sep='\t')

train

test

长度分布

import numpy as np
import matplotlib.pyplot as plt

def split_df(df_row):
    return len(str(df_row).split())
len_dist = np.vectorize(split_df)(df_train['text'])
plt.figure()
plt.hist(x=len_dist, bins=100)
plt.xlim([0,max(len_dist)])
plt.xlabel("length of sample")
plt.ylabel("number of sample")
plt.show()

通过直方图和数据描述可以看到，新闻文本的每个句子平均由907个字符构成，最短的句子长度为2，最长的句子长度为57921，其中75%以下的数据长度在1131以下。

在输入模型进行训练之前，我们要把所有的数据长度统一化，数据肯定要截断。但是在什么位置截断合适呢？

考虑到数据长度分布是长尾分布，log一下看看是不是正态分布，如果是正态分布，使用3sigma法则作为截断的参考。如果不是，则就只能瞎猜了

测量拟合分布的均值和方差sigma原则

$1\sigma$ 原则：数值分布在 $(\mu -\sigma ,\mu +\sigma )$ 中的概率为0.6526;
$2\sigma$ 原则： 数值分布在 $(\mu -2\sigma ,\mu +2\sigma )$ 中的概率为0.9544;
$3\sigma$ 原则：数值分布在 $(\mu -3\sigma ,\mu +3\sigma )$ 中的概率为0.9974
由于"小概率事件"和假设检验的基本思想 “小概率事件"通常指发生的概 率小于5%的事件, 认为在一次试验中该事件是几乎不可能发生的。由 此可见X落在 $(\mu -3\sigma ,\mu +3\sigma )$ 以外的概率小于干分之三，在实际问题 中常认为相应的事件是不会发生的，基本上可以把区间 $(\mu -3\sigma ,\mu +3\sigma )$ 看作是随机变量X实际可能的取值区间, \quad 这称之为正 态分布的” $3{\sigma }^{\prime \prime }$ 原则。

log_len_dist = np.log(1+len_dist)
plt.figure(figsize=(15,5))
ax = sns.distplot(log_len_dist, fit=spstats.norm)
ax.set_xlim([0,max(log_len_dist)])
ax.set_xlabel("log length of sample")
ax.set_ylabel("prob of log")

拟合优度检验，p值为0，意思就是说这不是一个正态分布。
关于分布检验，参考这篇文章