Solr高亮与Field权重

Solr高亮

原理

做搜索时，高亮是很常见的需求，那么Solr肯定也为高亮提供了支持。先解释下Solr高亮的原理，在我们设置了需要高亮显示的Field之后，查询得到的返回结果会多出来下面的内容：

周杰伦

 

其实就是多了highlighting的字段，并没有改变原来返回的字段内容。

Json串是使用 Unique Field ：{高亮显示的内容}的形式。

SolrJ有三种高亮类型：

如果要对某field做高亮显示，必须对该field设置stored=true

Standard Highlighter，根据查询的docIdSet，获取Documents，并获取当前document的需要高亮的field的value，根据query的term和该field的value做匹配算法
FastVector Highlighter，效率比普通的高亮显示要高；需要定义termvector(占用空间和IO)，包括position和offset，根据query term的termvector到field value中做快速的定位标记，进而实现快速的高亮显示
Postings Highlighter，由于高亮显示需要对field设置为store=true，所有对于单节点数据量比较大并且该字段比较大的话，会消耗大量的IO操作，那么可以把该字段存储在另外的地方，比如Hbase，在外部做高亮显示的匹配。

其中推荐使用的是Standard Highlighter，下面也是针对Standard Highlighter，  

配置

下面介绍两种配置方式：

　　1.SolrJ配置:

 

songQuery.setHighlight(); songQuery.set("hl.highlightMultiTerm","true");songQuery.setHighlightSimplePre("<font style=\"color:#A7D043;font-weight:bold;\">"); songQuery.setHighlightSimplePost("</font>");

 

　　2.solrConfig.xml配置： 

  
    explicit
      10
      text
   true
   content
   50
   font color=red
   /font

 

详细的RequestHandler配置请参看博客：五、SolrJ、Request Handler

其实这两种配置并没有本质上的区别。我个人习惯使用SolrJ配置。

 

解析

获取highlighting是非常简单的，一条语句搞定：

 

Map<String,Map<String,List<String>>> tempMap = response.getHighlighting();

 

相信大家也注意到了，虽然接受结果简单，但是如果想遍历就比较复杂了，因为接受到的结果是嵌套了很多层的类型Map<String,Map<String,List<String>>>

那么我这边把我解析的方法分享下：

 

Map<String,Map<String,List<String>>> tempMap =(Map.Entry<String, Map<String,List<String>>>(Integer.parseInt(entry.getKey()) ==(Map.Entry<String, List<String>>( != entryLayer2.getKey() && "Song_Name"( != entryLayer2.getKey() && "Song_SingerName"

 

这个方法比Iterator和foreach效率稍高。

我设置了两个字段需要高亮，所以在循环中判断了高亮是属于哪个字段，之后进行相应的操作。

因为我做的时候，一首歌可能有几个Song_SingerName，在数据库中用"/"分隔，所以这种情况更加复杂，我首先是把后缀中的/换成了出现概率很小的@

songQuery.setHighlightSimplePost("<@font>");

然后再用split（"@"）分隔出不同的Song_SingerName，但是这样就会有一个问题，就是我不知道高亮的歌手到底是哪一个歌手，所以这个时候，我还需要从分割后的String[]中提取所有的中文字符，比对后，存入另一个变量，最后再用"/"替换掉"@"。

 

Solr权重

概念

Solr底层依然用的是Lucene的权重算法，也就是通过一个公式计算每个Documents的得分，然后按得分高低排序，公式如下：

简单解释下这个公式中包含的一些因子：

Tf：Term frequency，就是条目出现的次数。

Idf: Inverse document frequency，就是用来描述在一个搜索关键字中，不同字词的稀有程度。比如搜索The Cat in the Hat，那么很明显The和in远没有Cat和Hat重要。

Boosting：这个使我们设置权重的重点，比如搜索歌手名，那么在一个document中还有歌手的ID、歌曲的清晰度、歌曲上传时间，而boosting是不同的Filed有不同权重，之后根据公式计算得分。所以可以看到，我们并不能直接影响solr搜索结果的排序，需要改变权重，进而改变不同Document的得分，从而影响排序。

其中还有很多因子和公式的解释，有兴趣的同学可以参考Solr in action这本书，里面有比较详细的解释。

因为我们只需简单的根据某一Filed的权重影响结果的排序，所以我们需要改变Document的Boosting，那么就需要用到Dismax，Dismax是一个查询解析器（Query parser），查询解析器的概念就是提供了一系列查询的参数，一旦我们在查询url中设置了相应的参数，那么查询解析器将会解析查询信息，从而得到搜索结果，其实完全也可以把查询解析器理解为一个Api，就是提供了相应的方法，我们设置，之后Solr根据我们设置的参数进行查询，只不过不同的Query Parser提供了不同的参数而已。

一共提供了三种Query Parser

Standard：最常用的，并且是默认

Dismax：

Extended Dismax

功能从上至下是逐渐递增的，在大部分情况下，Standard已经可以完全满足需求，但是因为要使用权重排序，那么需要用到Dismax，具体提供的参数请查看wiki：

https://cwiki.apache.org/confluence/display/solr/The+Standard+Query+Parser

 

那么首先需要设置Query Parser为Dismax：

 

songQuery.set("defType","dismax");

 

之后设置需要查询的Field：

 

songQuery.set("qf","Song_Name^2 Song_SingerName^0.2");

 

比如我这里就需要根据用户输入的关键字查询歌手名和歌曲名，之后返回这两个Field命中的结果、多个Query Filed中可以设置不同的权重，比如Song_Name的权重就为2，必须注意，在Solr权重的设置中，所有权重标准为1，意思是当权重设置大于1时，代表这个字段的权重变大，如果权重设置小于1并且大于0的时候，代表这个字段权重变小。

之后设置其它Field的权重：

 

songQuery.set("bf", "sum(div(Song_Quality,0.01),if(exists(Song_FileMV),20000,0),recip(ms(NOW,Song_CreateTimeForNew),1,10000,1))");

 

这里面用到了很多Function Query，比如div,代表相除、exists代表如果Song_FileMV如果不为空那么设置它的权重为20000，为空则为0。记住最后要sum起来，因为从上面的公式可以看出来，boosting是一个变量，所以最好要有一个和值。相关的函数请参考wiki：

http://wiki.apache.org/solr/FunctionQuery