Elasticsearch从入门到放弃：分词器初印象

Elasticsearch 系列回来了，先给因为这个系列关注我的同学说声抱歉，拖了这么久才回来，这个系列虽然叫「Elasticsearch 从入门到放弃」，但只有三篇就放弃还是有点过分的，所以还是回来继续更新。

之前我们聊过了 Elasticsearch 的索引和文档，不太熟悉的话可以先翻阅一下前文。今天再一起聊一下 Elasticsearch 的分词器。

关于分词

如果你是讲 Elasticsearch 作为搜索引擎，那么你应该需要对分词进行了解，Elasticsearch 的分词是将全文本转换为一系列单词，这样有助于在搜索时得到相关的结果以及相关性分析。例如我们有一个文本为“I love Elasticsearch”，然后 Elasticsearch 可以将其分解为三个单词，这时我们无论搜索哪个单词，都能搜到这个文本。

Elasticsearch 通过分词器对文本进行分词处理，Elasticsearch 的分词器是由 Character Filters、Tokenizer 和Token Filter 三部分组成。在介绍它们之前，我们先来简单了解一下 Analyze API，它可以帮助我们快速测试一个 Analyzer 的作用，它的用法也非常简单：

GET /_analyze
{
  "analyzer" : "standard",
  "text" : "Quick Brown Foxes!"
}

其中，analyzer 是指定的分词器，text 是被测试的文本，这样就能得到这个文本分词后的效果。

这是最简单的一种用法，此外，我们还可以在 path 中指定 index，用于测试指定索引中 mapping 设置的 analyzer 或者索引默认的 analyzer。当然，你也可以测试一下自定义的 analyzer，只需要在参数中设置好 Character Filters、Tokenizer 和Token Filter 即可。关于 Analyze API 更多的使用方法可以自行查阅官方文档 Analyze API

内置 Analyzer

为了方便使用，Elasticsearch 为我们提供了几种内置 Analyzer：

• Fingerprint：它可以将文本处理为小写的、去除扩展的、有序的、唯一的单词
• Keyword：不分词
• Language：提供了30多种常见语言的分词器
• Pattern：使用正则表达式分词，默认\W+（非字符分隔）
• Simple：按照非字母切分，小写处理
• Standard：默认分词器，会基于 Unicode 文本语法，按照单词划分，并进行小写处理
• Stop：小写处理，过滤停用词（the, a, is）
• Whitespace：按照空格切分，不转小写

现在我们来测试一下 Whitespace Analyzer

GET _analyze
{
  "analyzer": "whitespace",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

它的执行结果是

{
  "tokens" : [
    {
      "token" : "The",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "2",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "QUICK",
      "start_offset" : 6,
      "end_offset" : 11,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "Brown-Foxes",
      "start_offset" : 12,
      "end_offset" : 23,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "jumped",
      "start_offset" : 24,
      "end_offset" : 30,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "over",
      "start_offset" : 31,
      "end_offset" : 35,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "the",
      "start_offset" : 36,
      "end_offset" : 39,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "lazy",
      "start_offset" : 40,
      "end_offset" : 44,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "dog's",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "bone.",
      "start_offset" : 51,
      "end_offset" : 56,
      "type" : "word",
      "position" : 9
    }
  ]
}

如果有兴趣，可以自行测试一下其他的内置 Analyzer。除了内置的 Analyzer 之外，你也可以根据需要自定义分词器。

下面我们来看怎么定义我们需要的 Analyzer。

前面提到 Analyzer 由三部分组成，其中 Character Filters 用于对原始文本进行处理（例如去掉html标签），Tokenizer 是按照指定规则进行切分，Token Filter 负责将切分的单词进行加工（例如转小写）。

Character Filters

Character Filters 是分词的第一步，Elasticsearch 用它来对原始文本进行一些处理。内置的 Character Filters 有三个，分别是：

• HTML strip：使用解码值替换HTML标签
• Mapping：使用指定的替换项替换指定的字符串
• Pattern replace：使用指定的替换项替换正则匹配的字符串

HTML strip 默认会替换文本中所有的 HTML 标签，你也可以通过设置escaped_tags，将一些特定的标签排除

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "keyword",
          "char_filter": [
            "my_custom_html_strip_char_filter"
          ]
        }
      },
      "char_filter": {
        "my_custom_html_strip_char_filter": {
          "type": "html_strip",
          "escaped_tags": [
            "b"
          ]
        }
      }
    }
  }
}

这个自定义 Analyzer 就不会替换标签 b。

Tokenizer

在对原始文本进行初步的处理之后，Tokenizer 就要上场了，它帮助我们根据指定的规则进行分词，Elasticsearch 同样提供了一些内置的 Tokenizer。

• Character group：按照配置的字符组进行切分
• Classic：针对英语语法进行分词
• Edge n-gram：从单词的起始字符开始按长度依次切分quick 会被分为[q, qu, qui, quic, quick]
• Keyword：不切分
• Letter：遇到非字母的字符进行切分
• Lowercase：与类似 Letter 类似，不过它会把切分后的单词转为小写
• N-gram：把单词切分为指定长度的字符串集合，quick 会被分为[qu, ui, ic, ck]
• Path hierarchy：对路径进行切分，/foo/bar/baz 会分为[/foo, /foo/bar, /foo/bar/baz]
• Pattern：根据正则匹配进行切分
• Simple pattern：正则会受到一些限制，但不支持按照匹配到的分割符切分
• Simple pattern split：是支持按照匹配到的分割符切分的Simple pattern
• Standard：按照单词进行切分
• Thai：针对泰语进行切分
• UAX URL email：与 Standard 相似，但它会把 url 或邮箱当作一个整体
• Whitespace：按照空格进行切分

在这里你可以先对这些内置的 Tokenizer 有个初步的了解，知道它们能干什么，在具体使用的时候可以查阅官方文档进行更详细的了解，很多 Tokenizer 还支持一些参数配置，这些到实际场景中灵活使用就好。

Token Filter

Elasticsearch 内置的 Token Filter 非常多，这里列几个常用的吧：

• Trim：删除前后空格
• Uppercase：转大写
• Lowercase：转小写
• Stop：停用词过滤
• ……

Elasticsearch 中内置的这些分词器及组件可以满足我们日常的大部分需求了，能够做到灵活应用就很厉害了。如果真的遇到解决不了的问题，你也可以尝试自定义分词器，例如对我们的中文进行分词。

中文分词

中文分词的难点在于，它不像英文那样有天然的空格可以进行切分，我们也不能简单的把它分成一个个的字，而是要分成有意义的词。

比较不错的中文分词器有 ICU Analyzer、IK 和 THULAC

ICU Analyzer

ICU Analyzer 并不是 Elasticsearch 内置的分词器，所以我们需要预先安装插件才能使用

执行命令

elasticsearch-plugin install analysis-icu

进行安装，安装好以后可以使用命令elasticsearch-plugin list进行查看。

安装好之后就可以运行下面这个例子

GET _analyze
{
  "analyzer": "standard", 
  "text": "觉得好看就点赞"
}

GET _analyze
{
  "analyzer": "icu_analyzer", 
  "text": "觉得好看就点赞"
}

你会发现 standard analyzer 就是把这句话拆成一个个字，而 icu analyzer 基本会根据语义进行拆分。

总结

经过本文的介绍，相信你对 Elasticsearch 的分词器也有了一个初步的认识，知道它由什么组成，能够使用 Analyze API 对一个分词器进行简单的测试，也基本能够自定义一些分词器了。

我对内置的 Token Filter 介绍的比较少，你可以结合官方文档，对你感兴趣的 Token Filter 进行更深入的研究，如果有什么问题也欢迎和我讨论。