搜索的相关性算分

一、相关性–Relevance

• 搜索的相关性算分，描述了⼀个⽂档和查询语句匹配的程度。ES会对每个匹配查询条件的结果进⾏算分_score
• 打分的本质是排序，需要把最符合⽤户需求的⽂档排在前⾯。ES 5之前，默认的相关性算分采⽤TF-IDF，现在采⽤BM25

二、参与算分重要指标

2.1 词频 TF

Term Frequency：检索词在 ⼀篇 ⽂档中出现的频率

• 词频 = 检索词出现的次数 / 文档总字数

度量⼀条查询和结果⽂档相关性的简单⽅法：简单将搜索中每⼀个词的TF进⾏相加

• 例如： TF(区块链)+TF(的)+TF(应⽤)

Stop word

• “的”在⽂档中出现了很多次，但是对贡献相关度⼏乎没有⽤处，不应该考虑他们的TF

2.2 逆文档频率IDF

DF：检索词在 所有 文档中出现的频率

• “区块链”在相对⽐较少的⽂档中出现
• “应⽤”在相对⽐较多的⽂档中出现
• “StopWord”在⼤量的⽂档中出现

Inverse Document Frequency：简单说=log(全部⽂档数/检索词出现过的⽂档总数）

TF-IDF本质上就是将TF求和变成了加权求和

• TF(区块链)IDF(区块链) + TF(的)IDF(的)+ TF(应⽤)*IDF(应⽤)
  
  image.png

2.3 TF-IDF 的概念（ES5之前的算法）

●TF-IDF被公认为是信息检索领域最重要的发明
●除了在信息检索，在⽂献分类和其他相关领域有着⾮常⼴泛的应⽤
●IDF的概念，最早是剑桥⼤学的“斯巴克.琼斯”提出
●1972年–“关键词特殊性的统计解释和它在⽂献检索中的应⽤”
●但是没有从理论上解释IDF应该是⽤log(全部⽂档数/检索词出现过的⽂档总数），⽽不是其他函数。也没有做进⼀步的研究
●1970，1980年代萨尔顿和罗宾逊，进⾏了进⼀步的证明和研究，并⽤⾹农信息论做了证明
●http://www.staff.city.ac.uk/~sb317/papers/foundations_bm25_review.pdf●现代搜索引擎，对TF-IDF进⾏了⼤量细微的优化

Lucene中的TF-IDF评分公式

image.png

2.4 TF-IDF 的概念（从ES5开始的算法）

从ES 5开始，默认算法改为BM25
和经典的TF-IDF相比，当TF无限增加时，BM 25算分会趋于一个数值

image.png

定制Similarity(对相似度算分策略的定制)

image.png

K默认值是1.2，数值越⼩，饱和度越⾼，b默认值是0.75（取值范围0-1），0代表禁⽌Normalization

image.png

三、通过ExplainAPI查看TF-IDF

PUT testscore
{
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text"
      }
    }
  }
}
PUT testscore/_bulk
{ "index": { "_id": 1 }}
{ "content":"we use Elasticsearch to power the search" }
{ "index": { "_id": 2 }}
{ "content":"we like elasticsearch" }
{ "index": { "_id": 3 }}
{ "content":"The scoring of documents is caculated by the scoring formula" }
{ "index": { "_id": 4 }}
{ "content":"you know, for search" }



POST /testscore/_search
{
  //"explain": true,
  "query": {
    "match": {
      "content":"you"
      //"content": "elasticsearch"
      //"content":"the"
      //"content": "the elasticsearch"
    }
  }
}

四、BoostingRelevance加权

• Boosting是控制相关度的⼀种⼿段
  索引，字段或查询⼦条件
• 参数boost的含义
  当boost> 1时，打分的相关度相对性提升
  当0< boost < 1时，打分的权重相对性降低
  当boost< 0时，贡献负分

复合查询：BoostingQuery

POST testscore/_search
{
    "query": {
        "boosting" : {
            "positive" : {
                "term" : {
                    "content" : "elasticsearch"
                }
            },
            "negative" : {
                 "term" : {
                     "content" : "like"
                }
            },
            "negative_boost" : 0.2
        }
    }
}

POST tmdb/_search
{
  "_source": ["title","overview"],
  "query": {
    "more_like_this": {
      "fields": [
        "title^10","overview"
      ],
      "like": [{"_id":"14191"}],
      "min_term_freq": 1,
      "max_query_terms": 12
    }
  }
}