26_ElasticSearch 四种常见的相关度分数优化方法

26_ElasticSearch 四种常见的相关度分数优化方法

更多干货

• 分布式实战（干货）
• spring cloud 实战（干货）
• mybatis 实战（干货）
• spring boot 实战（干货）
• React 入门实战（干货）
• 构建中小型互联网企业架构（干货）
• python 学习持续更新
• ElasticSearch 笔记

对相关度评分进行调节和优化的常见的4种方法

• 1、query-time boost 查询的时候设置query的boost. 增加权重
• 2、重构查询结构.如should中嵌套bool。
• 3、negative boost 包含了negative term的doc，分数乘以negative boost，分数降低
• 4、constant_score 如果你压根儿不需要相关度评分，直接走constant_score加filter，所有的doc分数都是1，没有评分的概念了

1、query-time boost

GET /forum/article/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": {
              "query": "java spark",
              "boost": 2
            }
          }
        },
        {
          "match": {
            "content": "java spark"
          }
        }
      ]
    }
  }
}

2、重构查询结构

重构查询结果，在es新版本中，影响越来越小了。一般情况下，没什么必要的话，大家不用也行。

GET /forum/article/_search 
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "content": "java"  1/3
          }
        },
        {
          "match": {
            "content": "spark"  1/3
          }
        },
        {
          "bool": {
            "should": [
              {
                "match": {
                  "content": "solution"  1/6
                }
              },
              {
                "match": {
                  "content": "beginner"  1/6
                }
              }
            ]
          }
        }
      ]
    }
  }
}

3、negative boost

• 搜索包含java，不包含spark的doc，但是这样子很死板
• 搜索包含java，尽量不包含spark的doc，如果包含了spark，不会说排除掉这个doc，而是说将这个doc的分数降低
• 包含了negative term的doc，分数乘以negative boost，分数降低

GET /forum/article/_search 
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "content": "java"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "content": "spark"
          }
        }
      ]
    }
  }
}

GET /forum/article/_search 
{
  "query": {
    "boosting": {
      "positive": {
        "match": {
          "content": "java"
        }
      },
      "negative": {
        "match": {
          "content": "spark"
        }
      },
      "negative_boost": 0.2
    }
  }
}

negative的doc，会乘以negative_boost，降低分数

4、constant_score

如果你压根儿不需要相关度评分，直接走constant_score加filter，所有的doc分数都是1，没有评分的概念了

GET /forum/article/_search 
{
  "query": {
    "bool": {
      "should": [
        {
          "constant_score": {
            "query": {
              "match": {
                "title": "java"
              }
            }
          }
        },
        {
          "constant_score": {
            "query": {
              "match": {
                "title": "spark"
              }
            }
          }
        }
      ]
    }
  }
}

相关文章

• ElasticSearch 笔记

• 1_ElasticSearch使用term filter来搜索数据

• 2_ElasticSearch filter执行原理 bitset机制与caching机制

• 3_ElasticSearch 基于bool组合多个filter条件来搜索数据

• 4_ElasticSearch 使用terms搜索多个值

• 5_ElasticSearch 基于range filter来进行范围过滤

• 6_ElasticSearch 控制全文检索结果的精准度

• 7_ElasticSearch term+bool实现的multiword搜索原理

• 8_基于boost的搜索条件权重控制

• 9_ElasticSearch 多shard场景下relevance score不准确

• 10_ElasticSearch dis_max实现best fields策略进行多字段搜索

• 11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果

• 12_ElasticSearch multi_match语法实现dis_max+tie_breaker

• 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索

• 14_ElasticSearch 使用most_fields策略进行cross-fields search

• 15_ElasticSearch copy_to定制组合field进行cross-fields搜索

• 16_ElasticSearch 使用原生cross-fiels 查询

• 17_ElasticSearch phrase matching搜索

• 18_ElasticSearch 基于slop参数实现近似匹配

• 19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡

• 20_ElasticSearch rescoring机制优化近似匹配搜索的性能

• 21_ElasticSearch 前缀搜索、通配符搜索、正则搜索

• 22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time

• 23_ElsaticSearch 搜索推荐ngram分词机制实现index-time更多干货

• 24_ElasticSearch TF&IDF算法以及向量空间模型

• 25_ElasticSearch 揭秘lucene的相关度分数算法

• 日志管理ELK