73_深入剖析搜索结果的highlight高亮显示

73_深入剖析搜索结果的highlight高亮显示

更多干货

• 分布式实战（干货）
• spring cloud 实战（干货）
• mybatis 实战（干货）
• spring boot 实战（干货）
• React 入门实战（干货）
• 构建中小型互联网企业架构（干货）
• python 学习持续更新
• ElasticSearch 笔记

概述

1、一个最基本的高亮例子

PUT /blog_website
{
  "mappings": {
    "blogs": {
      "properties": {
        "title": {
          "type": "text",
          "analyzer": "ik_max_word"
        },
        "content": {
          "type": "text",
          "analyzer": "ik_max_word"
        }
      }
    }
  }
}

PUT /blog_website/blogs/1
{
  "title": "我的第一篇博客",
  "content": "大家好，这是我写的第一篇博客，特别喜欢这个博客网站！！！"
}

GET /blog_website/blogs/_search 
{
  "query": {
    "match": {
      "title": "博客"
    }
  },
  "highlight": {
    "fields": {
      "title": {}
    }
  }
}

{
  "took": 103,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.28582606,
    "hits": [
      {
        "_index": "blog_website",
        "_type": "blogs",
        "_id": "1",
        "_score": 0.28582606,
        "_source": {
          "title": "我的第一篇博客",
          "content": "大家好，这是我写的第一篇博客，特别喜欢这个博客网站！！！"
        },
        "highlight": {
          "title": [
            "我的第一篇博客"
          ]
        }
      }
    ]
  }
}

表现，会变成红色，所以说你的指定的field中，如果包含了那个搜索词的话，就会在那个field的文本中，对搜索词进行红色的高亮显示

GET /blog_website/blogs/_search 
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": "博客"
          }
        },
        {
          "match": {
            "content": "博客"
          }
        }
      ]
    }
  },
  "highlight": {
    "fields": {
      "title": {},
      "content": {}
    }
  }
}

highlight中的field，必须跟query中的field一一对齐的

2、三种highlight介绍

plain highlight，lucene highlight，默认

posting highlight，index_options=offsets

• 1）性能比plain highlight要高，因为不需要重新对高亮文本进行分词
• 2）对磁盘的消耗更少
• 3）将文本切割为句子，并且对句子进行高亮，效果更好

PUT /blog_website
{
  "mappings": {
    "blogs": {
      "properties": {
        "title": {
          "type": "text",
          "analyzer": "ik_max_word"
        },
        "content": {
          "type": "text",
          "analyzer": "ik_max_word",
          "index_options": "offsets"
        }
      }
    }
  }
}

PUT /blog_website/blogs/1
{
  "title": "我的第一篇博客",
  "content": "大家好，这是我写的第一篇博客，特别喜欢这个博客网站！！！"
}

GET /blog_website/blogs/_search 
{
  "query": {
    "match": {
      "content": "博客"
    }
  },
  "highlight": {
    "fields": {
      "content": {}
    }
  }
}

fast vector highlight

index-time term vector设置在mapping中，就会用fast verctor highlight

• 1）对大field而言（大于1mb），性能更高

PUT /blog_website
{
  "mappings": {
    "blogs": {
      "properties": {
        "title": {
          "type": "text",
          "analyzer": "ik_max_word"
        },
        "content": {
          "type": "text",
          "analyzer": "ik_max_word",
          "term_vector" : "with_positions_offsets"
        }
      }
    }
  }
}

强制使用某种highlighter，比如对于开启了term vector的field而言，可以强制使用plain highlight

GET /blog_website/blogs/_search 
{
  "query": {
    "match": {
      "content": "博客"
    }
  },
  "highlight": {
    "fields": {
      "content": {
        "type": "plain"
      }
    }
  }
}

• 总结一下，其实可以根据你的实际情况去考虑，一般情况下，用plain highlight也就足够了，不需要做其他额外的设置
• 如果对高亮的性能要求很高，可以尝试启用posting highlight
• 如果field的值特别大，超过了1M，那么可以用fast vector highlight

3、设置高亮html标签，默认是标签

GET /blog_website/blogs/_search 
{
  "query": {
    "match": {
      "content": "博客"
    }
  },
  "highlight": {
    "pre_tags": [""],
    "post_tags": [""], 
    "fields": {
      "content": {
        "type": "plain"
      }
    }
  }
}

4、高亮片段fragment的设置

GET /_search
{
    "query" : {
        "match": { "user": "kimchy" }
    },
    "highlight" : {
        "fields" : {
            "content" : {"fragment_size" : 150, "number_of_fragments" : 3, "no_match_size": 150 }
        }
    }
}

• fragment_size: 你一个Field的值，比如有长度是1万，但是你不可能在页面上显示这么长啊。。。设置要显示出来的fragment文本判断的长度，默认是100
• number_of_fragments：你可能你的高亮的fragment文本片段有多个片段，你可以指定就显示几个片段

相关文章

• ElasticSearch 笔记

• 1_ElasticSearch使用term filter来搜索数据

• 2_ElasticSearch filter执行原理 bitset机制与caching机制

• 3_ElasticSearch 基于bool组合多个filter条件来搜索数据

• 4_ElasticSearch 使用terms搜索多个值

• 5_ElasticSearch 基于range filter来进行范围过滤

• 6_ElasticSearch 控制全文检索结果的精准度

• 7_ElasticSearch term+bool实现的multiword搜索原理

• 8_基于boost的搜索条件权重控制

• 9_ElasticSearch 多shard场景下relevance score不准确

• 10_ElasticSearch dis_max实现best fields策略进行多字段搜索

• 11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果

• 12_ElasticSearch multi_match语法实现dis_max+tie_breaker

• 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索

• 14_ElasticSearch 使用most_fields策略进行cross-fields search

• 15_ElasticSearch copy_to定制组合field进行cross-fields搜索

• 16_ElasticSearch 使用原生cross-fiels 查询

• 17_ElasticSearch phrase matching搜索

• 18_ElasticSearch 基于slop参数实现近似匹配

• 19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡

• 20_ElasticSearch rescoring机制优化近似匹配搜索的性能

• 21_ElasticSearch 前缀搜索、通配符搜索、正则搜索

• 22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time

• 23_ElsaticSearch 搜索推荐ngram分词机制实现index-time更多干货

• 24_ElasticSearch TF&IDF算法以及向量空间模型

• 25_ElasticSearch 揭秘lucene的相关度分数算法

• 26_ElasticSearch 四种常见的相关度分数优化方法

• 27_ElasticSearch用function_score自定义相关度分数算法

• 28_ElasticSearch误拼写时的fuzzy模糊搜索技术

• 29_ElasticSearchIK中文分词器的安装和使用

• 30_ElasticSearch IK分词器配置文件 以及自定义词库

• ElasticSearchIK中文分词器的安装和使用

• 日志管理ELK