这里介绍2种重要的权重度量方法：TF-IDF和BM25。

ES5之前，默认的相关性算分采⽤TF-IDF，现在采⽤BM25词(Term)文档(DocId)区块链1,2,3的2,3,4,5,6,7,8,10,12,13,15,18,19,20应用2,3,

首先还是先了解几个概念，Elasticsearch是一个开源的分布式搜索和分析引擎，它使用一系列算法来计算文档的相关性分数（relevancescore）。这些算法用于确定查询与文档的匹配程度，以便按相关性对搜索结果进行排序。以下是Elasticsearch中常用的算分算法：词频（TermFrequency，TF）：TF算法根据查询词在文档中出现的频率来计算分数。出现频率越高，分数越高。逆文档频率

之前的文章是：Elasticsearch：实用BM25-第1部分：分片如何影响Elasticsearch中的相关性评分Elasticsearch：实用BM25-第2部分：BM25算法及其变量选择b和k1

BM25算法我将尽可能深入这里的数学以解释正在发生的事情，但这是我们查看BM25公式的结构以深入了解正在发生的事情的部分。

在本博客中，我不会过多地介绍BM25与替代措施，但如果你想了解BM25的理论依据，你可以继续观看Elastic{ON}2016的BM25Demystified演示文稿。

1.TF-IDFTF-IDF是英文TermFrequency-InverseDocumentFrequency的缩写，中文叫做词频-逆文档频率。一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中的每一个词与标准问题计算得到的TF-IDF值求和。计算公式如下：TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文的地位，因此不能很好地突出语义信息。

牛客top100-自刷打卡day2+3-二叉树二叉树BM23二叉树的前序遍历BM24二叉树的中序遍历BM25二叉树的后序遍历BM26求二叉树的层序遍历BM27按之字形顺序打印二叉树BM28二叉树的最大深度

特点：快：Pb级别数据秒内响应准：ES在旧版本中使用一种叫TF/IDF的评分算法作为默认的评分算法，从7.x之后，默认改为BM25评分算法ES中，快怎么保证：1、首先进行分词2、倒排索引倒排索引（fft

TF-IDF和BM25搜索引擎排序中常用到的两种Score计算方式，用于评估两个文档的相关度。本文会介绍下两种算法的具体逻辑，并在一些维度上进行对比。TF-IDFTF-IDF分为两部分：TF和IDF。

标准化的过程在本篇文章中不作介绍，可以查看看BM25

BM25(BestMatch)BM25算法是在20世纪70年代到80年代由英国的一批信息检索领域的计算机科学家发明,用来衡量搜索词query和文档document相似度得分的经典算法，这个相关性打分是一个类似

假设及公式推导概率检索模型：BIM+BM25+BM25FBIM、Idf、TfIdf、BM25和BM25F之间的联系BIM在什么样的条件下退化成Idf，怎么推导的？

前面提到过TF-IDF算法（TF-IDF算法原理及公式）与之更进一步算法BM25相关度也是处理关键词相关性中重要的算法其中。那么TF和IDF谁更重要呢，怎么计算最终的相关性得分呢？那就是BM25。

文本相似度：TF−IDF算法和BM25算法1、TF−IDF算法TF是指归一化后的词频，IDF是指逆文档频率。给定一个文档集合D，有d1,d2,d3,......,dn∈D。

1，$TF-IDF$算法$TF$是指归一化后的词频，$IDF$是指逆文档频率。给定一个文档集合$D$，有$d_1,d_2,d_3,......,d_n\inD$。文档集合总共包含$m$个词（注：一般在计算$TF-IDF$时会去除如“的”这一类的停用词），有$w_1,w_2,w_3,......,w_m\inW$。我们现在以计算词$w_i$在文档$d_j$中的$TF-IDF$指为例。$TF$的计算公

这里介绍2种重要的相似度算法：TF-IDF和BM25。TF-IDF是Lucene上一代(6.0以前)相似度算法，BM25是Lucene新一代(6.0以后)正使用的相似度算法。先举个例子。

回顾TF-IDFTF-IDF算法我们之前已经有过详细的介绍了，这里就不再赘述。有疑问的朋友可以回头看一下这篇笔记：TF-IDF的原理及代码实现。这篇文章中有一点理解，我么先搬过来：IDF表征的是区分度、稀缺性，用以评估一个单词在语料库中的重要程度，一个词在少数几篇文档中出现的次数越多，它的IDF值越高，如果这个词在大多数文档中都出现了，这个值就不大了。从公式也可以看出来，由于log函数是单增函数，

1bm25说到bm25算法，那么就不得不说一下TF-IDF了，关于TF-IDF，解释如下：1.1TF-IDF介绍TF：TermFrequency即词频，是文本中某个词出现的次数IDF:InverseDocumentFrequency

带着问题学习才高效ES5.0之前，默认的相关性算分采用的是TF-IDF，而之后则默认采用BM25。1、什么是相关性/相关度？Lucene是如何计算相关度的？2、TF-IDF和BM25究竟是什么？

1.TF-IDF原理TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比，但同时会随着它在语料库中出现的频率成反比词频TF（itemfrequency）：某一给定词语在该文本中出现次数。该数字通常会被归一化，以防止它偏向长文本，因为不管该词语重要与否，它在长文件中出现的次数很可能比在短文本中出现的次数更大。TF(t)

https://opensourceconnections.com/blog/2015/10/16/bm25-the-next-generation-of-lucene-relevation/中文版：BM25

这里介绍2种重要的权重度量方法：TF-IDF和BM25。在进入理论探讨之前，我们先举个例子。假如，我们想找和“Lucence”相关的文章。

BM25是信息索引领域，计算query与文档相似度得分的经典算法。BM25算法通常用来做搜索相关性评分的，也是ES中的搜索算法，通常用来计算query和文本集合D中每篇文本之间的相关性。

欢迎体验标贝语音开放平台地址：https://ai.data-baker.com/#/?source=qaz123（注：填写邀请码hi25d7，每日免费调用量还可以翻倍）控制相关度处理结构化数据（比如：时间、数字、字符串、枚举）的数据库，只需检查文档（或关系数据库里的行）是否与查询匹配。布尔的是/非匹配是全文搜索的基础，但不止如此，我们还要知道每个文档与查询的相关度，在全文搜索引擎中不仅需要找到匹

文本相似度算法：TF-IDF与BM251.TF-IDFTF（TermFrequency）是指归一化后的词频，IDF（InverseDocumentFrequency）是指逆文档频率。给定一个文档集合DDD，有d1,d2,d3,......,dn∈Dd_1,d_2,d_3,......,dn∈Dd1,d2,d3,......,dn∈D。文档集合总共包含mmm个词（注：一般在计算TF−IDF时会去除如

传统方法基于TF-IDF、BM25、Jaccord、SimHash、LDA等算法抽取两个文本的词汇、主题等层面的特征，然后使用机器学习模型（LR,xgboost）训练分类模型优点：可解释性较好缺点：依赖人工寻找特征

目前的搜索架构都是召回和排序，召回采用的是BM25，dual-encoder,bi-encoder,（其实dual-encoder和bi-encoder是一个意思，他们的作用就是把query和passage

在传统的检索问答模型中，通常使用tfidf，或者bm25这种稀疏向量进行候选项检索，再使用交互模型进行最终结果排序。针对传统的检索问答模型中的检索和排序问题，通过使用对偶式的深

一、tf-idf二、bm25三、pagerank3.1解决什么问题是Google的网页排序算法，它是给每个网页附加权值的。一个网页的PR值，概率上理解就是网页被访问的概率，PR值越高其排名越高。

平时学习中遇到的一些传统的做法1、BM25算法给你一个句子，和一个文档库。如果想找到与这个句子相关的文档，需要怎么做？直接想法：对句子embedding，对文档库embedding。

卖萌屋今日学术精选这篇论文展示了信息检索可以用一个Transformer来完成，其中，关于语料库的所有信息都被编码在Transformer模型的参数中。论文标题：TransformerMemoryasaDifferentiableSearchIndex链接：https://arxiv.org/abs/2202.06991作者提出了可微搜索索引（DifferentiableSearchIndex，D

搜索引擎的检索模型-查询与文档的相关度计算1.检索模型概述搜索结果排序时搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里我们主要总结网页内容和用户查询相关的内容。判断网页内容是否与用户査询相关，这依赖于搜索引擎所来用的检索模型。检索模型是搜索引擎的理论基础，为量化相关性提供了

上一篇的文章中电商搜索使用BM25算法召回+其他匹配特征主要讲了BM25算法的召回以及一些特征的融入，本篇继续进行剩余特征如核心词匹配，同义词匹配，上下位词，query类目与商品title类目匹配以及商品的业态等特征整体结构图如下

1TF-IDFTF-IDF是英文TermFrequency–InverseDocumentFrequency的缩写，中文叫做词频-逆文档频率。一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中每一词与标准问题计算得到的TF-IDF值求和。计算公式如下：TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文的地位，因此不能够很好的突出语义信息。im

传统的文本检索大部分都是基于统计学的BM25算法，包括ES也是基于BM25的改进，该方案最大的优势在于实现简单，检索速度快，但BM25只考虑了词权，导致检索出来的结果在语义方面有所欠缺。

BM25算法介绍BM25(BM=bestmatching)是TDIDF的优化版本，首先我们来看看TFIDF是怎么计算的TFIDFTF−IDF=TF∗IDF=某单词数量单词总数∗log(总文档包含某单词的文档数

目录一例子二文档打分的运作机制：TF-IDF2.1词频：TF2.2逆文档频率：IDF三Lucene评分公式四其他的打分方法五配置打分模型5.1简要配置BM25打分模型5.2为BM25配置高级的settings5.3

ES的全文搜索简而言之就是将文本进行分词，然后基于词通过BM25算法计算相关性得分，从而找到与搜索语句相似的文本，其本质上是一种term-based（基于词）的搜索。全文搜索的实际使用已经非常广泛，

ES5之前，默认的相关性算分采用TF-IDF，现在采用BM25词频TFTermFrequency:检索词在一篇文档中出现的频率检索词出现的次数除以文档的总字

目录技术架构方法概述召回排序技术架构整体可以分为检索召回、排序搜索相关的策略大体分为如下：query理解->分词，纠错，意图识别，termweight等召回->bool检索，倒排索引,bm25,tf-idf

电商搜索有别于像百度、谷歌等传统搜索引擎的检索，用户多是希望搜索词匹配标题或描述后商品即露出，不需要关心词距以及词频ES支持BM25与TFIDF相关性计算，首先，在创建ES索引时需要去掉默认的相关性打分

BM25相关度计算image.pngW=IDFimage.pngR(qi,d)=词和文档相关度image.pngk1,k2,b是调节因子，一般根据经验来自己设置，通常k1=2,b=0.75；fi表示qi

1.BM25算法（非语义匹配）bm25是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模

所谓语义检索（也称基于向量的检索），是指检索系统不再拘泥于用户Query字面本身（例如BM25检索），而是能精准捕捉到用户Query背后的真正意图并以此来搜索，从而向用户返回更准确的结果。

一、基础介绍BM25是一种用来评价搜索词和文档之间相关性的算法。通常用来做搜索相关性评分的，也是ES（弹性搜索）中的搜索算法。通常用来计算搜索和文本集合中每篇文本之间的相关性，并返回对应分数。

原理BM25算法，通常用来作搜索相关性平分。

显然，rankingfunction是决定检索效果最重要的因素，本文选用了在实际应用中效果很好的BM25。BM25其实只用到了一些基础的统计和文本处理的方法

BM25算法,通常用于计算两个文本,或者文本与文档之间的相关性.所以可以用于文本相似度计算和文本检索等应用场景.它的主要思想是:对于文本query中的每个词qi,计算qi与候选文本(文档)的相关度,然后对所有词

上一篇：NLP篇【01】tfidf与bm25介绍与对比下一篇：NLP【03】白话glove原理一、什么是word2vecWord2vec，即词向量。