Fasttext:最简单最快的分类代码。

关于Fasttext的原理,不多赘述,类似于CBOW的模式来完成分类。

使用的python代码。

import jieba
import fastText.FastText as ff

#  数据格式 (中文)
#  今天 天气 不错 ,所以 我 和 宝宝 出去 玩。  __label__name1
 
#也就是对数据每一行分词,后缀标签,建议写成这种格式,否则要自己改默认设置。
# 要注意 ‘utf-8’ 编码
model=ff.train_supervised('news_fasttext_train.txt')
model.save_model('model_train.bin')

result = model.test('news_fasttext_test.txt')
print(*result)  #N p r

# 不到一分钟就出来结果。

Fasttext:最简单最快的分类代码。_第1张图片
如果需要调整效果,可以调整这些默认参数,lr - [0.01,1] ,0.05比较常用。dim通常100-300之间,其余的一些参数也可以看情况调整。label之所以在数据预处理中写成这种格式,因为可以不用调整默认参数label。

实验环境是windows+python3.6 ,实测windows也没有问题,而且相比TCNN,TRNN速度要快得多。

你可能感兴趣的:(Fasttext:最简单最快的分类代码。)