一个非常hao用的elasticsearch中文分词器插件 HaoAnalyzer

首先上地址

elasticsearch (es) hao 分词器 中文分词器
elasticsearch-analysis-hao

ES HAO 分词器

简介

如何开发一个ES分词插件请参考 这里

主要参考了 IK 和 HanLP
其中有的源码是直接搬运的。
相比IK,比IK更智能,更准确,更快。
相比HanLp,比HanLP更轻量,分词更可控,没有一些智能的预测功能,并且HanLP也没有官方的ES插件。

主要是IK ik_max_word是穷举所有可能词,导致搜索一些不相关的也会被搜到。

任性冲动过分词结果居然有任性 性冲动 动过,那么搜性冲动就会把这个doc搜索到。

南京市长江大桥,结果是南京市 市长 长江大桥,那么搜市长会把这个doc搜索到。
HanLPDijkstraSegment抄了过来,同时做了一些优化。

  1. 根据词频计算最短路,穷举出可能的词,而不是所有的词,如果穷举的词不对,可以调词频来纠正。

  2. 支持emoji。

  3. 支持元词,比如俄罗斯不会再拆分成罗斯罗斯是常用人名)。这样搜罗斯就不会把俄罗斯相关文档召回

不支持词性

提供
Analyzer: hao_search_mode, hao_index_mode
Tokenizer: hao_search_mode, hao_index_mode

Versions

Git tag ES version
master ES最新稳定版
v7.7.1 7.7.1
vX.Y.Z X.Y.Z

使用

安装

方式1. bin/elasticsearch-plugin install file:///Users/xiaoming/Download/analysis-hao.zip

方式2. 解压后,放在es plugins目录即可。

最后重启ES

ES 版本升级

如果没有你需要的对应ES版本,修改pom.xml->elasticsearch.version的值为对应版本,然后执行
mvn clean package -Dmaven.test.skip=true,就可以得到插件的zip安装包。

自定义分词器

下面是自定义分词器可用的配置项


配置项参数 功能 默认值
enableIndexMode 是否使用index模式,index模式为细颗粒度。 hao_search_modefalsehao_index_modetrue,细颗粒度适合Term Query,粗颗粒度适合Phrase查询
enableFallBack 如果分词报错,是否启动最细粒度分词,即按字分。建议search_mode使用,不至于影响用户搜索。index_mode不启动,以便及时报错告警通知。 false不启动降级
enableFailDingMsg 是否启动失败钉钉通知,通知地址为HttpAnalyzer.cfg.xmldingWebHookUrl字段。 false
enableSingleWord 是否使用细粒度返回的单字。比如体力值,分词结果只存体力值,体力,而不存 false

HaoAnalyzer.cfg.xml 配置


参数 功能 备注
baseDictionary 基础词库文件名 放在插件config目录或者es的config目录,不用更改
customerDictionaryFile 用户自定义远程词库文件 会存储在插件config目录或者es的config目录
remoteFreqDict 远程用户自定义词库文件 方便热更新,热更新通过下面两个参数定时更新。
syncDicTim 远程词库第一次同步时间 hh:mm:ss -
syncDicPeriodTime 远程词库同步时间间隔,秒 比如 syncDicTime=20:00:00,syncDicPeriodTime=86400,则是每天20点同步
dingWebHookUrl 钉钉机器人url 用于分词异常,同步词库异常/成功通知
dingMsgContent 机器人通知文案 注意配置钉钉机器人的时候关键词要和这个文案匹配,不然会消息发送失败

词库说明

优先读取 {ES_HOME}/config/analysis-hao/目录,没有读取 {ES_HOME}/plugins/analysis-hao/config目录下的文件

  • 基础词库
    基础词库是base_dictionary.json,是一个json文件,key为词,value为词频(int)。是可以修改的,可以添加词,可以修改词频。
    例如:奋发图强 分词结果是 , 发图, , 是因为发图这个词的词频太高了(因为出现次数高),则可以降低词频,手动修改base_dictionary.json文件就好了。
  • 远程词库
    用户自定义词库会按照配置的时间和周期定期执行。
    从远程词库更新完成后会自动覆盖现在的customerDictionaryFile
    远程词库的文件格式每行格式为 {词},{词频},{是否元词}, 例如俄罗斯,1000,1
    是否元词字段解释:
    1代表是元词,不会再细拆分,俄罗斯不会再拆分成罗斯(罗斯是常用人名)。这样搜罗斯就不会把俄罗斯相关文档召回。
    0就是可以继续细拆分,比如奋发图强

示例索引demo

建索引:

PUT test/
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "search_analyzer": {
            "filter": [
              "lowercase"
            ],
            "char_filter": [
              "html_strip"
            ],
            "type": "custom",
            "tokenizer": "my_search_token"
          },
          "title_analyzer": {
            "filter": [
              "lowercase"
            ],
            "char_filter": [
              "html_strip"
            ],
            "type": "custom",
            "tokenizer": "my_title_index_token"
          }
        },
        "tokenizer": {
          "my_title_index_token": {
            "enableOOV": "false",
            "enableFailDingMsg": "true",
            "type": "hao_index_mode",
            "enableSingleWord": "true",
            "enableFallBack": "true"
          },
          "my_search_token": {
            "enableOOV": "false",
            "enableFailDingMsg": "true",
            "type": "hao_search_mode",
            "enableSingleWord": "true",
            "enableFallBack": "true"
          }
        }
      },
      "number_of_replicas": "0"
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "index_options": "offsets",
        "analyzer": "title_analyzer",
        "search_analyzer": "search_analyzer"
      }
    }
  }
}

测试分词

test/_analyze
{
  "analyzer": "title_analyzer",
  "text": "奋发图强打篮球有利于提高人民生活,有的放矢,中华人民共和国家庭宣传委员会宣。"
}

test/_analyze
{
  "analyzer": "search_analyzer",
  "text": "奋发图强打篮球有利于提高人民生活,有的放矢,中华人民共和国家庭宣传委员会宣。"
}

你可能感兴趣的:(一个非常hao用的elasticsearch中文分词器插件 HaoAnalyzer)