nlp处理技术-文章分类java实现方案

项目背景：为了解决采集的文章，智能进行文章分类

因为本人是java代码，看java jar比较爽。

于是选择了fasttext4j ( facebook开发源代码，底层是c++，做的jar)

 

业务实现流程

1：采集一个目标文章网站， 文章内容+栏目id

2：整理数据样本。把mysql数据转移到File。作为fasttext4j的数据样本。

样本数据如图，本人花了3小时下载的模板。 中文分词参数，一行一篇文章。 然后一行最后面是__label__xx   文章分类编号

3：用fasttext进行训练

注：请使用ModelName.sup 的训练模式， 而不是用词向量，后面这种方式生成模型。

4：第一次生成模型很麻烦，900片文章，预计在2分钟左右。以后直接调用模型即可。

5：predict预测

 

现在遇到的问题

数据样本不均匀的时候，然后==》一篇文章参数进来，智能匹配到5的概率很大

 

当前的解决方案，为了不同类目的样本一致，随机取13篇文章，再跑模型训练，你会怎么去处理呢？

本人微信：liuxia8_com   一起学习NLP处理技术。