task4 基于深度学习的文本分类1-fastText

task4 基于深度学习的文本分类1-fastText

学习目标
1.学习FastText的使用和基础原理
2.学会使用验证集进行调参

文本表示方法

FastText

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

FastText在文本分类任务上，是优于TF-IDF的：

FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
FastText学习到的Embedding空间维度比较低，可以快速进行训练

基于FastText的文本分类

pip安装
pip install fasttext

import pandas as pd
from sklearn.metrics import f1_score

# 转换为FastText需要的格式
train_df = pd.read_csv('../data/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

此时数据量比较小得分为0.82，当不断增加训练集数量时，FastText的精度也会不断增加5w条训练样本时，验证集得分可以到0.89-0.90左右。

train_supervised

训练一个被监督的模型并返回一个模型对象。

input                   # 训练文件路径（必需）
lr                         # 学习率[0.1] 
dim                     # 单词向量的大小[100] 
ws                       # 上下文窗口的大小[5] 
epoch                  # epoch的数目[5]
minCount             # 单词出现的最小次数[1]
minCountLabel     # 标签出现的最小数量[1]
minn                     #  char ngram的最小长度 [0]
maxn                    # char ngram的最大长度 [0]
neg                       # 负抽样数  [5]
wordNgrams         #  word ngram的最大长度 [1]
loss                        # 丢失函数 {ns, hs, softmax, ova} [softmax]
bucket                    # buckets的数量 [2000000]
thread                     # 螺纹扣数[number of cpus]
lrUpdateRate          # 更改学习速率的更新速率 [100]
t                              # 采样阈值 [0.0001]
label                       # 标签前缀 ['__label__']
verbose                  # 冗长的；啰嗦的[2]
pretrainedVectors   # pretrained词向量 (.vec file) for supervised learning []

输入必须是文件路径。输入文本不需要标记。根据tokenize函数，但必须进行预处理和编码utf - 8。您可能需要参考以下标准的预处理脚本分词器。这里提到的perl是:http://www.statmt.org/wmt07/baseline.html 输入文件必须每行至少包含一个标签。对于一个参考示例数据集，它是fastText的一部分存储库，例如由classificationexample .sh提取的数据集。

提高精度的几个重要步骤

预处理数据;
更改时期数（使用选项-epoch，标准范围[5 - 50]）;
更改学习率（使用选项-lr，标准范围[0.1 - 1.0]）;
使用单词n-gram（使用option -wordNgrams，标准范围[1 - 5]）。

如何使用验证集调参

在使用TF-IDF和FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度，那么如何选择这些参数呢？

通过阅读文档，要弄清楚这些参数的大致含义，那些参数会增加模型的复杂度
通过在验证集上进行验证模型精度，找到模型在是否过拟合还是欠拟合

这里我们使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。

label2id = {}
for i in range(total):
label = str(all_labels[i])
if label not in label2id:
label2id[label] = [i]
else:
label2id[label].append(i)

通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。不失一般性，我们选择最后一份完成剩余的实验，即索引为9的一份做为验证集，索引为1-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。

本章小结

本章介绍了FastText的原理和基础使用，并进行相应的实践。然后介绍了通过10折交叉验证划分数据集。

本章作业

阅读FastText的文档，尝试修改参数，得到更好的分数

基于验证集的结果调整超参数，使得模型性能更优

参考内容：
fasttext高效的文本分类和表示学习库