理解和学习Solr的score机制

阅读更多
 
参考: http://www.cnblogs.com/rcfeng/p/4067896.html
http://www.cnblogs.com/forfuture1978/archive/2010/03/07/1680007.html
 
在solr的document文档定义中(schema.xml),需要对每个字段进行定义indexed, stored,其中表示的含义为:
 
 
字段名称 字段含义  
indexed
如果该字段是要做查询的,需要将其设置为indexed,进行索引,以便能够根据该字段进行查询。
但是与具体分词手段无关,如果涉及到如果分词,需要使用type属性
 
stored 在solr查询结果中能够正常返回,如果一个字段stored=false,则查询结果不会包括该字段。  
 
 
而只有indexed的字段可以用于查询,虽然solr中有sort字段可以进行排序,这一般用于精确匹配的查询,例如按照分类/品牌进行搜索得到结果。如果用户采用关键词的方式进行模糊匹配,此时使用sort根据某个字段进行排序会显得不合时宜,无法帮助用户搜索到他想要的结果(更多是被sort所控制,这就好比百度的竞价排名系统)。
 
根据查询打分的相关文档可以看出,Solr中采用了最基本的向量空间模型:
 

理解和学习Solr的score机制_第1张图片
 
 
其中存在的索引文件.tvx, tvd, tvf存储了term vector相关信息,我们学习如何使用term vector来反映相似性程度。在向量空间模型中,夹角越小,说明相似程度越大,可以用cos余弦函数定理来计算。

 

 
 
相似值计算公式:t=term, d=document, q=query, f=field
 
  • tf(t in d ) 表示该term 在 这个文档里出现的频率(即出现了几次)。
  •  idf(t) 表示 出现该term的文档个数。
  •  t.getBoost() 查询语句中每个词的权重,可以在查询中设定某个词更加重要。

 

  • norm(t,d) 标准化因子d.getBoost() • lengthNorm(f) • f.getBoost() ,它包括三个参数:
    • Document boost:此值越大,说明此文档越重要。
    • Field boost:此域越大,说明此域越重要。
    • lengthNorm(field) = (1.0 / Math.sqrt(numTerms)):一个域中包含的Term总数越多,也即文档越长,此值越小,文档越短,此值越大。
  • coord(q,d):一次搜索可能包含多个搜索词,而一篇文档中也可能包含多个搜索词,此项表示,当一篇文档中包含的搜索词越多,则此文档则打分越高 ,numTermsInDocumentFromQuery / numTermsInQuery 
  • queryNorm(q):计算每个查询条目的方差和,此值并不影响排序,而仅仅使得不同的query之间的分数可以比较。
 
我们当前环境的/select相关配置:
 
 

  
    
      edismax
      explicit
      json
      true
      text
      
          map(psfixstock,0,0,0,100)
      
    
    
      1000
      50
    
  
 
  
  
     
       explicit
       json
       true
       text
     
  
 
 
可以看出当前使用了edismax方式,默认查询字段df为text,boost function已经被设置,但存在较大问题:搜索的排序严重与货物的库存数量相关,这肯定会导致用户无法查询出其想要的最精确的结果(即便是无库存,用户也可能希望能够返回正确的商品,而不是有库存的不相关商品)。Solr查询中的常用参数列表:
 
 
参数 含义  
df default fields,默认查询字段  
wt writer type,指定查询输出结构格式,默认xml  
defType 设置查询解析器名称  
bf boost function,可接受多个函数查询,用空格隔开  
qf query fields,指定索引中查询字段,如果没有指定,默认使用df  
q 查询字符串,必输项  
q.op 默认查询连接符,AND OR  
sort 排序,sort=+,...  
start 分页定义结果起始记录数,默认为0  
rows 分页定义结果每页返回记录数,默认为10  
fq filter query,可充分利用filter query cache,提高检索性能。在q查询符合结果中同时是fq查询符合的  
fl field list,指定返回结果字段,以空格或逗号分隔  
timeAllowed 设置查询超时时间  
bq boost query,指定一个单词或短语提升查询权重  
mm Minimum Should Match,指定查询中必须匹配的最小规则数,如果没有在查询中或在solrconfig.xml文件中指定mm参数值,q.op参数的有效性将会受到影响。如果q.op是AND,则mm=100%,如果q.op是OR,则mm=1(100%表示全部匹配,1表示只要有一个匹配即可)。如果用户想修改这些行为,可以在solrconfig.xml文件中定义mm参数  
 
 
Solr 支持多种查询解析,给搜索引擎开发人员提供灵活的查询解析。Solr 中主要包含这几个查询解析器:标准查询解析器、DisMax 查询解析器,扩展 DisMax 查询解析器(eDisMax)。
 
 
在solr查询时,使用debugQuery可以打印出其打分的详细信息以便我们能够正确的分析:
 
 
"1046888": "
26.279617 = sum of:
  0.9810601 = sum of:
    0.1401725 = weight(text:女士 in 431) [DefaultSimilarity], result of:
      0.1401725 = score(doc=431,freq=2.0), product of:
        0.3656968 = queryWeight, product of:
          1.4455243 = idf(docFreq=37139, maxDocs=57987)
          0.25298557 = queryNorm
        0.3833025 = fieldWeight in 431, product of:
          1.4142135 = tf(freq=2.0), with freq of:
            2.0 = termFreq=2.0
          1.4455243 = idf(docFreq=37139, maxDocs=57987)
          0.1875 = fieldNorm(doc=431)
    0.8408876 = weight(text:手提包 in 431) [DefaultSimilarity], result of:
      0.8408876 = score(doc=431,freq=2.0), product of:
        0.89569205 = queryWeight, product of:
          3.5404868 = idf(docFreq=4570, maxDocs=57987)
          0.25298557 = queryNorm
        0.9388133 = fieldWeight in 431, product of:
          1.4142135 = tf(freq=2.0), with freq of:
            2.0 = termFreq=2.0
          3.5404868 = idf(docFreq=4570, maxDocs=57987)
          0.1875 = fieldNorm(doc=431)
  25.298557 = FunctionQuery(map(int(psfixstock),0.0,0.0,const(0))), product of:
    100.0 = map(int(psfixstock)=1,min=0.0,max=0.0,target=const(0))
    1.0 = boost
    0.25298557 = queryNorm
",
  
 
女士手提包,搜索词拆分成两个词元:“女士” “手提包”,q.op默认为OR(通过设置mm的值可以影响该属性),
 
 
idf为出现的频率,单独搜索“女士”总条目数37139,单独搜索“手提包”总条目数4570,出现频次越多就越不重要,idf的计算公式:
 
 
idf(t) = 1 + log (numDocs / (docFreq +1))
  
 
 
termFreq=2.0,tf的计算公式,2的1/2次方,得出1.414:
 
 
tf(t in d) = numTermOccurrencesInDocument 1/2
 
 
 
fieldNorm取决于匹配的文档field总数,大概在29个左右(由于查询中并没有设置boost),计算公式:
 
lengthNorm(field) = (1.0 / Math.sqrt(numTerms))
 
 
 
queryNorm,用来计算每个查询条目的方差和,使得不同的query之间的分数可以进行比较:
 
写道
queryNorm(q) = 1 / (sumOfSquaredWeights )
sumOfSquaredWeights = q.getBoost()2 • ∑ ( idf(t) • t.getBoost() )2
 
 
Solr Copy Field对打分的影响
 
 
如果使用了solr中的copyfield,会对打分造成什么影响?copyfield,solr允许将不同的字段copy到一个字段中,搜索只需要搜索拷贝字段即可,当然这样会造成内容中包含非常多的搜索词。
 
根据在StackOverflow上的回答,如果要设置各自字段的boost,就不能使用统一的copyfield,或者将copyfield进行分组:
 
 
http://stackoverflow.com/questions/13920776/when-you-perform-a-copyfield-in-solr-does-the-field-boost-go-with-it
 
当前我们设置的默认df(default field)为text,整个字段,当前我们可以通过更改qf的方式来做自定义boost,
 
SearchText, SearchText2^3, SearchText3^10, SearchText4^100
 
 
另一种说法,在solr中支持的多值域(multiValued)其实也就是copyfield,同一个field对应多个value。当一个文档中出现同名的多值域时,倒排索引和项向量都会在逻辑上将这些词的词汇单元附加进去。当对多值域进行存储的时候,它们在文档中的存储顺序是分离的,当在搜索期间对文档进行检索时,会发现多个field实例,最后该field的boost如何计算?使用每一个值域的boost相乘。
 
使用Query Field
 
 
我们设置query field,将下面的三个条件作为筛选条件,并设置其boost权重:
 
 
      brand_name^0.9 category_name^0.8 product_name^2.0
 
 
 
此时我们查询 “胸饰”,从打开debugQuery,可以看到其中的详细评分:
 
 
"debug": { "rawquerystring": "胸饰", "querystring": "胸饰", "parsedquery": "(+DisjunctionMaxQuery((brand_name:胸饰^0.9 | category_name:胸饰^0.8 | product_name:胸饰^2.0)) FunctionQuery(map(int(psfixstock),0.0,0.0,const(0),const(100))))/no_coord", "parsedquery_toString": "+(brand_name:胸饰^0.9 | category_name:胸饰^0.8 | product_name:胸饰^2.0) map(int(psfixstock),0.0,0.0,const(0),const(100))",
 
 
 
我们可以定义多个 requestHandler,用来专门处理多种类型,例如模糊查询,根据商品id定位商品,后端的内部查询,将它们分开这样就可以完成不同的查询了。
 
 
 
  • 理解和学习Solr的score机制_第2张图片
  • 大小: 42.8 KB
  • 理解和学习Solr的score机制_第3张图片
  • 大小: 2.7 KB
  • 查看图片附件

你可能感兴趣的:(solr,打分)