Lucece评分公式OKapi BM25原理解析(中)

背景：
延续上篇写了TF/IDF的公式解析，本篇为BM25解析简单介绍。
BM25起源于 概率相关性模型，而不是矢量空间模型，但是该算法与Lucene的实际评分功能有很多共同点。
两者都使用Term词频率，逆文档频率和字段长度归一化，但是每个因素的定义都略有不同。与其详细解释BM25公式，不如将重点放在BM25提供的实际优势上。

BM25是一个词袋检索功能，它基于每个文档中出现的查询词对一组文档进行排名，而不管它们在文档中的距离如何。它是一组评分功能，其组件和参数略有不同。该函数最突出的实例之一如下。

BM25评分公式

image.png

1）score(D,Q)公式

给定查询Q，得到文档D的BM25得分，Q其中包含关键字q1…qn。

2）IDF(qi)公式

原BM25的IDF公式：

image.png

优化后BM25的IDF公式：

image.png

其中 N是集合中文档的总数，并且n(qi) 是包含qi的Doc数量。
对IDF有几种解释，其公式略有不同。在原始BM25推导中，IDF分量是从二进制独立模型推导的。
上面IDF公式对出现在超过一半的文档中的Term有缺陷。这些Term的IDF为负，因此对于任何两个几乎完全相同的文档，包含该Term的文档的排名可能会低于不包含该Term的文档的排名。这是有问题的，因此许多应用程序以各种方式调整IDF公式：
1）每个被加数的下限可以为0，以删减常用项。
2）可以给IDF函数一个下限常量，以避免完全忽略Term；
3）可以将IDF函数替换为形状相似的函数，该函数应为非负或严格为正，以避免完全忽略Term。

下面对比BM25/优化版BM25/老版IDF公式做下对比，
条件: 100个Doc，命中从1-100，看各公式表现。

image.png

3）tfNorm公式

tfNorm=(freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength))
tfNorm反映的该term在所有满足条件的doc中field中的重要性，一般来说，相同的freq 下，field的长度越短，那么取值就越高。

D: 文档
qi: 搜索词 (多个)
f(qi,D) : qi 这个词在文档 D 中的出现次数频率。
|D|: 满足条件的D单词数，也就是D的长度。
avgdl: 整个文档库中文档的平均长度
k1 , b: 自由参数，一般取值范围是 k1∈[1.2,2.0]默认1.2, b=0.75

4）词频

在BM25中词频的影响降低。词频的影响一直在增加，但渐渐地逼近一个值。不考虑文件长度情况下，词频遵循公式：((k + 1) * tf) / (k + tf)

image.png

正如图中所示，MB25中词频的曲线只会无限的逼近(k+1)，这里的k=1.2，更高的词频意味着更大的相关性，但是很快就会趋于饱和，收益递减。而经典的Lucene 词频相关性只会一直增加，没有饱和点。
词频的调节因子 k1。 k1的作用是对查询词在文档中的词频进行调节，如果将 k1设定为 0，则第二部分计算因子成了整数 1，即不考虑词频的因素，退化成了二元独立模型。 如果将 k1设定为较大值， 则第二部分计算因子基本和词频 fi保持线性增长，即放大了词频的权值，根据经验，一般将 k1设定为 1.2。

5）文档长度

Lucene认为较短的字段比较长的字段具有更大的权重：字段中术语的频率会被字段的长度抵消。但是，实际评分功能以相同的方式对待所有字段。它将把所有title字段（因为它们很短）比所有body字段（因为它们很长）更重要。
BM25还认为较短的字段比较长的字段具有更大的权重，但它通过考虑字段的平均长度来单独考虑每个字段。它可以区分短title字段和长标题字段。
但从公式上看BM25还是偏向长字段。
其中参数 b 是调节因子，极端情况下，将 b 设定为 0，则文档长度因素将不起作用，设置为1不起调节作用，经验表明一般将 b 设定为 0.75 会获得较好的搜索效果。

6) 配置BM25、TF/IDF及b、k参数

在这里插入图片描述

1：创建自定义BM25相似度打分器。
2：配置b长度影响因子，也k也是这么加。
3：title使用自定义BM25(my_bm25)。
4: body字段使用默认BM25

如果喜欢搜索技术请来我的公众号吧 'Lucene Elasticsearch 工作积累'
每天会持续更新搜索相关技术

qrcode_for_gh_868f1965da39_258 (1).jpg