NLP 学习4

基于深度学习的文本分类1-fastText

FastText

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

FastText模型.png

FastText在文本分类任务上，是优于TF-IDF的：

• FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
• FastText学习到的Embedding空间维度比较低，可以快速进行训练

本质上还是一个词袋模型，只是使用Embedding的方式替代了TF-IDF表示。

本章作业

• 阅读FastText的文档，尝试修改参数，得到更好的分数
• 基于验证集的结果调整超参数，使得模型性能更优

深度模型中，训练次数是很重要的一个参数，如果过多，则过拟合，过少则欠拟合。

F1score.png

我们可以发现，训练集的F1分数随着次数增加而增加，但是验证集先上升，后稳定。