NLP入门 - 新闻文本分类 Task4

Task4 基于深度学习的文本分类1 - fastText

学习目标

  • 学习FastText的使用和基础原理
  • 学会使用验证集进行调参

文本表示方法 Part2

1. One-hot
2. Bag of Words / Count Vectors
3. N-gram
4. TF-IDF

问题:转换得到的向量维度很高,需要较长的训练实践;没有考虑单词与单词之间的关系,只是进行了统计。
深度学习也可以用于文本表示,还可以将其映射到一个低纬空间。其中比较典型的例子有:FastText、Word2Vec和Bert。

5. FastText
一种典型的深度学习词向量的表示方法,通过Embedding层将单词映射到稠密空间,然后将句子中所有的单词在Embedding空间中进行平均,进而完成分类操作。

  • FastText是一个三层的神经网络,输入层、隐含层和输出层。


    image.png
  • 下图是使用keras实现的FastText网络结构:


    image.png
  • FastText在文本分类上优于TF-IDF:
    FastText用单词的Embedding叠加获得的文档向量,将相似的句子分为一类
    FastText学习到的Embedding空间维度比较低,可以快速进行训练


基于FastText的文本分类

import pandas as pd
from sklearn.metrics import f1_score
import fasttext

# 转换为FastText需要的格式
train_df = pd.read_csv('data/train_set.csv', sep='\t')
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('data/train.csv', index=None, header=None, sep='\t')

model = fasttext.train_supervised('data/train.csv', lr=1.0, wordNgrams=2,
                                  verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.9095

Result:
image.png

使用验证集调参

  • 如何选择参数?
    通过阅读文档,要弄清楚这些参数的大致含义,那些参数会增加模型的复杂度;
    通过在验证集上进行验证模型精度,找到模型在是否过拟合还是欠拟合


    image.png
  • 重要参数
    epoch - the number of epochs (standard range [5 - 50])
    lr - the learning rate (standard range [0.1 - 1.0])
    wordNgrams - word n-grams (standard range [1 - 5])
    其他:train_supervised parameters

本章作业

  1. 阅读FastText的文档,尝试修改参数,得到更好的分数
  2. 基于验证集的结果调整超参数,使得模型性能更优
    Automatic hyperparameter optimization: provide a validation file.

References:

  • Datawhale零基础入门NLP赛事 - Task4 基于深度学习的文本分类1-fastText
  • fasttext doc: supervised tutorial - Text Classification
  • fasttext PyPI: train_supervised parameters
  • fasttext doc: Automatic hyperparameter optimization

你可能感兴趣的:(NLP入门 - 新闻文本分类 Task4)