23_ElsaticSearch 搜索推荐ngram分词机制实现index-time

23_ElsaticSearch 搜索推荐ngram分词机制实现index-time

更多干货

• 分布式实战（干货）
• spring cloud 实战（干货）
• mybatis 实战（干货）
• spring boot 实战（干货）
• React 入门实战（干货）
• 构建中小型互联网企业架构（干货）
• python 学习持续更新

一、概述

• 创建索引的时候就对每个单词进行切分，方便做搜索推荐提示。提高速度
• 使用edge ngram将每个单词都进行进一步的分词切分，用切分后的ngram来实现前缀搜索推荐功能
• 搜索的时候，不用再根据一个前缀，然后扫描整个倒排索引了; 简单的拿前缀去倒排索引中匹配即可，如果匹配上了，那么就好了;

二、ngram和index-time搜索推荐原理

1.什么是ngram，例子使用单词quick。

• quick，5种长度下的ngram。将quick做不同长度的切分如：

ngram length=1，q u i c k
ngram length=2，qu ui ic ck
ngram length=3，qui uic ick
ngram length=4，quic uick
ngram length=5，quick

2.什么是edge ngram

quick，anchor首字母后进行ngram（对整个单词进行切分）

q
qu
qui
quic
quick

使用edge ngram将每个单词都进行进一步的分词切分，用切分后的ngram来实现前缀搜索推荐功能

3、min ngram、max ngram

• 指定切分个数

min ngram = 1 max ngram = 3

三、例子

PUT /my_index
{
    "settings": {
        "analysis": {
            "filter": {
                "autocomplete_filter": { 
                    "type":     "edge_ngram",
                    "min_gram": 1,
                    "max_gram": 20
                }
            },
            "analyzer": {
                "autocomplete": {
                    "type":      "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "lowercase",
                        "autocomplete_filter" 
                    ]
                }
            }
        }
    }
}

GET /my_index/_analyze
{
  "analyzer": "autocomplete",
  "text": "quick brown"
}

PUT /my_index/_mapping/my_type
{
  "properties": {
      "title": {
          "type":     "string",
          "analyzer": "autocomplete",
          "search_analyzer": "standard"
      }
  }
}

GET /my_index/my_type/_search 
{
  "query": {
    "match_phrase": {
      "title": "hello w"
    }
  }
}

• 如果用match，只有hello的也会出来，全文检索，只是分数比较低
• 推荐使用match_phrase，要求每个term都有，而且position刚好靠着1位，符合我们的期望的

相关文章

• 1_ElasticSearch使用term filter来搜索数据

• 2_ElasticSearch filter执行原理 bitset机制与caching机制

• 3_ElasticSearch 基于bool组合多个filter条件来搜索数据

• 4_ElasticSearch 使用terms搜索多个值

• 5_ElasticSearch 基于range filter来进行范围过滤

• 6_ElasticSearch 控制全文检索结果的精准度

• 7_ElasticSearch term+bool实现的multiword搜索原理

• 8_基于boost的搜索条件权重控制

• 9_ElasticSearch 多shard场景下relevance score不准确

• 10_ElasticSearch dis_max实现best fields策略进行多字段搜索

• 11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果

• 12_ElasticSearch multi_match语法实现dis_max+tie_breaker

• 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索

• 14_ElasticSearch 使用most_fields策略进行cross-fields search

• 15_ElasticSearch copy_to定制组合field进行cross-fields搜索

• 16_ElasticSearch 使用原生cross-fiels 查询

• 17_ElasticSearch phrase matching搜索

• 18_ElasticSearch 基于slop参数实现近似匹配

• 日志管理ELK