1. 背景

Elasticsearch默认的分词器是standard，其对中文的分词是按字拆分，不智能。例如，输入“美丽的中国”

GET _analyze
{
  "analyzer": "standard",
  "text": "美丽的中国"
}

对应的分词响应：

{
  "tokens" : [
    {
      "token" : "美",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "",
      "position" : 0
    },
    {
      "token" : "丽",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "",
      "position" : 1
    },
    {
      "token" : "的",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "",
      "position" : 2
    },
    {
      "token" : "中",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "",
      "position" : 3
    },
    {
      "token" : "国",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "",
      "position" : 4
    }
  ]
}

接下来介绍并集成Elasticsearch的插件elasticsearch-analysis-ik进行中文分词。

2. 下载安装包

根据Elasticsearch的版本下载对应的IK插件包，安装包下载地址如下： https://github.com/medcl/elasticsearch-analysis-ik/releases

7.6.2插件包

3. 解压并安装

解压安装包，并复制文件夹到$ES_HOME/plugins目录下，重命名文件夹为analysis-ik, 如图所示：

4. 重启elasticsearch并验证

重启Elasticsearch后，在Kibana控制台验证，使用IK分词器来分词，如图所示：

ik_smart分词器

elasticsearch-analysis-ik插件支持两种分析器：ik_max_word、ik_smart。
ik_max_word: 会将文本做最细粒度的拆分，会穷尽各种可能的组合，适合 Term Query；
ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国，国歌”，适合 Phrase 查询。

5. 热更新IK分词使用方法

elasticsearch-analysis-ik提供了热更新IK分词词库的功能。
打开$ES_HOME/plugins/analysis-ik/config/IKAnalyzer.cfg.xml配置文件，配置文件如下：




    IK Analyzer 扩展配置

只需配置参数remote_ext_dict和remote_ext_stopwords的值，其中 words_location 是指一个 url，比如http://yoursite.com/getCustomDict，该请求只需满足以下两点即可完成分词热更新。
（1）该 http 请求需要返回两个头部(header)，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只要有一个发生变化，该插件就会去抓取新的分词进而更新词库。
（2）该 http 请求返回的内容格式是一行一个分词，内容UTF-8字符集编码，换行符用 \n。
满足上面两点要求就可以实现热更新分词了，不需要重启 ES 实例。

6. IK分词使用

6.1 创建索引 index_test_01

# 指定mappings 创建索引 index_test_01
PUT /index_test_01
{
  "mappings": {
    "properties": {
       "content": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

6.2 索引数据

POST /index_test_01/_create/1
{"content":"红豆生南国，春来发几枝。愿君多采撷，此物最相思。"}
POST /index_test_01/_create/2
{"content":"日照香炉生紫烟，遥看瀑布挂前川。飞流直下三千尺，疑是银河落九天。"}
POST /index_test_01/_create/3
{"content":"故人西辞黄鹤楼，烟花三月下扬州。孤帆远影碧空尽，唯见长江天际流。"}
POST /index_test_01/_create/4
{"content":"楼倚霜树外，镜天无一毫。南山与秋色，气势两相高。"}

6.3 数据搜索

查询索引index_test_01、字段content中包含"黄鹤楼"的文档，示例如下：

GET /index_test_01/_search
{
  "query": {
    "match": {
      "content": "黄鹤楼"
    }
  }
}

返回文档数据如下：

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.92011774,
    "hits" : [
      {
        "_index" : "index_test_01",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 0.92011774,
        "_source" : {
          "content" : "故人西辞黄鹤楼，烟花三月下扬州。孤帆远影碧空尽，唯见长江天际流。"
        }
      }
    ]
  }
}

返回匹配的文档数据，表示搜索时分词和索引时分词一样使用了IK分词器分词。

Elasticsearch系列（3）IK中文分词器集成