电商分词浅谈一

    电商系统的分词,不同于百度这种通用搜索引擎,它有自己一套独立的词典和业务逻辑,它所处理的语料以及分词算法都是需要定制的。

    首先,是语料来源的不同,我们以京东商城为例,商品详情页截图如下最主要是标红的主标题和副标题,作为分词的语料训练来源,以及下面的数据

类目数据

商品介绍

部分规格参数

导购属性

以及

看到这些,大家应该认识到电商分词语料多数据源的实际意义了


你可能感兴趣的:(电商,分词,IK,hmm)