【BERT-多标签文本分类实战】之四——数据集预处理

·请参考本系列目录：【BERT-多标签文本分类实战】之一——实战项目总览
·下载本实战项目资源：>=点击此处=<

[1] 数据集预处理的流程

  在拿到数据集之后，我们关心接下来操作的步骤：

  · 查看数据集的基本数据
  · 分析数据集的标签构成
  · 数据集拆分成训练集、验证集、测试集
  · 处理数据集的文本数据（首先了解bert模型的输入）

  为什么要这样做？

  对于一个新数据集，我们需要：1）把文本转化成嵌入向量；2）把文本的标签转化成独热数组；3）拆分数据集。除此之外，我们还应该关心数据集平均一个本文有几个标签、最多有几个标签、最少有几个标签，哪些标签出现的比较频繁，这些有助于我们加深对数据集、任务难点的了解。

【注】
  1、嵌入向量：在使用预训练词向量的时候，首先会构建一个词典，然后把文本里面的每个单词逐个转化成词典里面对应的序号，最后根据序号再去预训练词向量里面找对应单词的d维向量，于是一条文本就变成了pad_size * d的嵌入向量。
  2、独热数组：是由0-1构成的数组。假设数据集中有5个标签{a,b,c,d,e}，文本的实际标签是{b,c}，那么它的独热数组就是[0,1,1,0,0]。

[2] 查看数据集的基本数据

  数据集Rruters-21578的初始数据是放在xlsx文件中的，如下图。

  我们观察到该数据集：

  · 共有10788条数据，其中第2-3020条是test数据，第3021-10789条是training数据，需要进一步划分；
  · 标签是以数组转成字符串形式存储：['grain', 'rice']；
  · 文本以英文形式存储，里面有大小写、特殊字符等，需要我们额外处理一下。

[3] 分析数据集的标签构成

  首先读取数据集，利用正则表达式把每个文本的标签提取出来，查看一共有多少标签：

dataset_path = r'@_数据集_原始/Reuters-21578/reutersNLTK.xlsx'
df = pd.read_excel(dataset_path, encoding='utf-8', sep=',')

result_single = {} // 统计每个标签出现的次数
result_multi = {}

a = [] // 存放每个文本的标签,可重复,一维数组
b = [] // 存放每个文本的标签数量,一维数组

# 提取标签
for ls in df['categories']:
    b.append(len(re.compile(r"'(.*?)'").findall(ls)))
    for l in re.compile(r"'(.*?)'").findall(ls):
        a.append(l)

# 计算标签次数
for i in set(a):
    result_single[i] = a.count(i)

# 倒叙排列后输出
label_list = sorted([_ for _ in result_single.items()], key=lambda x: x[1], reverse=True)
print(label_list)

  输出结果： [('earn', 3964), ('acq', 2369), ('money-fx', 717), ('grain', 582), ('crude', 578), ('trade', 485), ('interest', 478), ('ship', 286), ('wheat', 283), ('corn', 237), ('dlr', 175), ('money-supply', 174), ('oilseed', 171), ('sugar', 162), ('coffee', 139), ('gnp', 136), ('gold', 124), ('veg-oil', 124), ('soybean', 111), ('nat-gas', 105), ('bop', 105), ('livestock', 99), ('cpi', 97), ('cocoa', 73), ('reserves', 73), ('carcass', 68), ('jobs', 67), ('copper', 65), ('cotton', 59), ('yen', 59), ('rice', 59), ('alum', 58), ('gas', 54), ('iron-steel', 54), ('ipi', 53), ('barley', 51), ('meal-feed', 49), ('rubber', 49), ('palm-oil', 40), ('sorghum', 34), ('zinc', 34), ('pet-chem', 32), ('tin', 30), ('silver', 29), ('wpi', 29), ('lead', 29), ('rapeseed', 27), ('strategic-metal', 27), ('orange', 27), ('soy-meal', 26), ('soy-oil', 25), ('retail', 25), ('fuel', 23), ('hog', 22), ('housing', 20), ('heat', 19), ('sunseed', 16), ('lumber', 16), ('income', 16), ('lei', 15), ('oat', 14), ('dmk', 14), ('tea', 13), ('platinum', 12), ('groundnut', 9), ('nickel', 9), ('rape-oil', 8), ('l-cattle', 8), ('coconut-oil', 7), ('sun-oil', 7), ('instal-debt', 6), ('potato', 6), ('propane', 6), ('naphtha', 6), ('coconut', 6), ('jet', 5), ('nzdlr', 4), ('cpu', 4), ('palladium', 3), ('nkr', 3), ('dfl', 3), ('copra-cake', 3), ('cotton-oil', 3), ('palmkernel', 3), ('rand', 3), ('lin-oil', 2), ('castor-oil', 2), ('sun-meal', 2), ('groundnut-oil', 2), ('rye', 2)]

  可以看到，10788条文本数据中，标签为earn的文本有3964个。接下来我们查看标签个数、文本标签数目：

label_key = [word_count[0] for idx, word_count in enumerate(label_list)]
label_val = [word_count[1] for idx, word_count in enumerate(label_list)]

print("标签个数:", len(label_key))
print("文本标签数目:", set(b))

print("每个文本平均有标签:", sum(label_val) / len(df['categories']))

  输出结果：
  标签个数: 90
  文本标签数目: {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 14, 15}
  每个文本平均有标签: 1.235446792732666

  可以看到，每个文本平均有1.2个标签，相对其他数据集来说，是极低的。数据集中文本标签个数为1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 14, 15的都有，我们详细查看它们的分布：

k = {}
# 计算共现标签
for i in set(b):
    k[i] = b.count(i)
print(k)

  输出结果：{1: 9160, 2: 1173, 3: 255, 4: 91, 5: 52, 6: 27, 7: 9, 8: 7, 9: 5, 10: 3, 11: 2, 12: 1, 14: 2, 15: 1}

  有9160条文本只有1个标签，有1173条文本是2个标签，再往后就很稀疏了。

【注】如何提高模型对这些稀疏数据的预测性能，这也是多标签文本分类中的研究难题。

[4] 数据集拆分成训练集、验证集、测试集

  我们把数据集中3019条test，分为1500条验证文本和1519条测试文本。在拆分过程中记得要打乱顺序：

import random
import pandas as pd

dataset_path =r'@_数据集_原始/Reuters-21578/reutersNLTK.xlsx'

df = pd.read_excel(dataset_path, encoding='utf-8', sep=',')

""" 多标签数据集划分 Reuter-21578
    label_name :    标签列名
    content_name :  内容列名
    export_name :   导出的文件名
    proportion :    训练-验证-测试比例, 数组, 加和为10, eg: [7,1.5,1.5] 
"""


def divideDataSet(label_name, content_name, export_name, proportion):
    contents = df[content_name]
    labels = df[label_name]
    ids = df['ids']

    train, val, test = [], [], []

    for i, id in enumerate(ids):
        if id[:3] == 'tra':
            train.append({'label': labels[i], 'content': contents[i]})
        else:
            val.append({'label': labels[i], 'content': contents[i]})

    random.shuffle(train)
    random.shuffle(val)

    test = val[:1500]
    val = val[1500:]

    print(len(train), len(val), len(test))

    random.shuffle(train)
    random.shuffle(val)
    random.shuffle(test)

    train.insert(0, {'label': 'label', 'content': 'content'})
    val.insert(0, {'label': 'label', 'content': 'content'})
    test.insert(0, {'label': 'label', 'content': 'content'})

    with open(export_name + r'train.csv', 'a', newline='', encoding='utf-8') as f:
        xieru = csv.DictWriter(f, ['label', 'content'], delimiter=',')
        xieru.writerows(train)  # writerows方法是一下子写入多行内容
    with open(export_name + r'dev.csv', 'a', newline='', encoding='utf-8') as f:
        xieru = csv.DictWriter(f, ['label', 'content'], delimiter=',')
        xieru.writerows(val)  # writerows方法是一下子写入多行内容
    with open(export_name + r'test.csv', 'a', newline='', encoding='utf-8') as f:
        xieru = csv.DictWriter(f, ['label', 'content'], delimiter=',')
        xieru.writerows(test)  # writerows方法是一下子写入多行内容

divideDataSet('categories', 'text', root_path + r'@_数据集_已处理/Reuters-21578/data/', [])

  拆分出来3个csv文件。

[5] 处理数据集的文本数据

  在处理数据集的文本数据前，有必要了解一下使用预处理词向量的模型，是如何处理文本数据的。请参考博客：【英文文本分类实战】之三——数据清洗。

  由于bert模型的强大，我们甚至可以不作任何处理，就能直接把文本作为输入放到bert模型中，因为bert模型自带词典（很强大）。我倾向于不作处理，所以这里不再叙述。但其实如果处理的话，也不过是转化一下大小写、过滤特殊字符、过滤缩写，这些在【英文文本分类实战】之三——数据清洗都有详细介绍。

[6] 进行下一篇实战

  【BERT-多标签文本分类实战】之五——BERT模型库的挑选与Transformers