FastText:Bag of Tricks for Efficient Text Classification

FastText:Bag of Tricks for Efficient Text Classification

摘要

简而言之，FastText快而准，标准多核CPU就能满足很多文本分类需求，是一个不错的baseline。

介绍

深度学习模型在文本分类任务上的表现不错，但训练和测试速度令人堪忧，在大数据集上使用受限。

传统线性模型依赖特征质量，而且在大数据集上(样本普遍不均衡)表现不佳。

为了解决线性模型这个问题，作者提出了解决方案——FastText

模型结构

FastText模型结构和Word2vec的CBOW相似，不同的是前者是监督学习，通过训练LR进行多分类预测，后者是非监督学习预测中间词，可以说FastText借鉴了CBOW的特征提取方法，将上游任务和下游任务整合到了一起。

FastText解决多分类任务借鉴了Word2vec的层级softmax，通过构建霍夫曼树。

FastText引入了N-gram的表征方法，而且在颗粒度上还支持字符级。

实验

为了检验FastText的精度和速度，作者选取情感分析和标签预测两个任务，以及一系列数据和模型做对照实验。

对于情感分析任务来说，FastText精度媲美char-CNN、char-CRNN、VDCNN，速度远胜他们。

对于标签预测任务来说，FastText精度和速度都远胜TagSpace。

结论

Word2vec非监督学习，得到的是通用的静态词向量。

fasttext是监督学习，可以生成针对特定任务的动态词向量。

deep model 的表征能力理论上要比 shallow model 强，但简单的文本分类任务如情感分析，fasttext足以媲美深度神经网络，而且训练、测试和推断速度更快。

fasttext是文本分类任务baseline的不二之选。

论文下载地址：https://arxiv.org/pdf/1607.01759.pdf

推荐阅读：https://blog.csdn.net/feilong_csdn/article/details/88655927