【论文学习】FastText总结

《 Bag of Tricks for Efficient Text Classification》

Fasttext: 对于高效率文本分类的一揽子技巧

论文背景：

1. 文本分类是自然语言处理的重要任务，可以用于信息检索、网页搜索、文档分类等。
2. 基于深度学习的方法可以达到非常好的效果，但是速度很慢，限制了文本分类的应用。
3. 基于机器学习的线性分类器效果也很好，有用于大规模分类任务的潜力。
4. 从现在词向量学习中得到的灵感，我们提出了一种新的文本分类方法Fasttext，这种方法能够快
   速的训练和测试并且达到和最优结果相似的效果。

Fasttext历史意义

• 提出了一种新的文本分类方法——Fasttext，能够进行快速的文本分类，并且效果很好。
• 提出了一种新的使用子词的词向量训练方法——Fasttext，能够一定程度上解决OOV问题。
• 将Fasttext开源，使得工业界和学术界能够快速使用Fasttext。

Fasttext模型优缺点

优点：

1. 速度非常快，并且效果还可以。
2. 有开源实现，可以快速上手使用。

缺点：

1. 模型结构简单，所以目前来说，不是最优的模型。
2. 因为使用词袋思想，所以语义信息获取有限。

论文总结

关键点

• 基于深度学习的文本分类方法效果好，但是速度比较慢
• 基于线性分类器的机器学习方法效果还行，速度也比较快，但是需要做烦琐的特征工程
• Fasttext模型

创新点

• 提出了一种新的文本分类模型—Fasttext模型
• 提出了一些加快文本分类和使得文本分类效果更好的技巧——层次softmax和n-gram特征。
• 在文本分类和tag预测两个任务上得到了又快又好的结果。