Lucene-2.3.1 源代码阅读学习(36)

关于MultiTermQuery查询。

这里研究FuzzyQuery查询。

MultiTermQuery是一个抽象类，继承自它的一种有3个，分别为：FuzzyQuery、WildcardQuery、RegexQuery，其中RegexQuery使用了第三方提供的服务，可以使用正则表达式，如果你对正则表达式很熟悉，可以尝试着使用RegexQuery查询。

FuzzyQuery查询，即模糊查询。

在FuzzyQuery类定义中定义了两个成员变量：

private float minimumSimilarity;
private int prefixLength;

minimumSimilarity是最小相似度，取值范围为0.0~1.0，包含0.0但不包含1.0，默认值为0.5。

prefixLength是前缀长度，默认为0。

其实，在Fuzzy数学中，模糊度被定义为0.5是最模糊的程度，这里说的模糊度是德莱卡模糊度，D(F)=0表示不模糊，即为普通集合；D(F)=05表示最模糊的程度。

使用FuzzyQuery要从的构造方法开始，该类给出3种构造方式：

第一种：

public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength) throws IllegalArgumentException {
    super(term);
   
    if (minimumSimilarity >= 1.0f)
      throw new IllegalArgumentException("minimumSimilarity >= 1");
    else if (minimumSimilarity < 0.0f)
      throw new IllegalArgumentException("minimumSimilarity < 0");
    if (prefixLength < 0)
      throw new IllegalArgumentException("prefixLength < 0");
   
    this.minimumSimilarity = minimumSimilarity;
    this.prefixLength = prefixLength;
}

第二种：

public FuzzyQuery(Term term, float minimumSimilarity) throws IllegalArgumentException {
      this(term, minimumSimilarity, defaultPrefixLength);
}

第三种：

public FuzzyQuery(Term term) {
    this(term, defaultMinSimilarity, defaultPrefixLength);
}

可见，后两种都是使用默认的定义，即minimumSimilarity或者prefixLength使用默认值，最后还是通过第一个构造方法来构造一个FuzzyQuery的实例。

1、使用public FuzzyQuery(Term term)构造查询

实际是这样构造的：FuzzyQuery(term, 0.5f, 0);进行构造。

使用静态定义的具有默认值的两个成员：

minimumSimilarity = defaultMinSimilarity = 0.5f;
prefixLength = defaultPrefixLength = 0;

其实，minimumSimilarity = defaultMinSimilarity = 0.5f并不同于Fuzzy数学中定义的模糊度，minimumSimilarity 表示的应该是一种匹配的严格程度，minimumSimilarity越大表示查询匹配时越严格，通过测试可以看出，如下所示：

package org.apache.lucene.shirdrn.main;

import java.io.IOException;
import java.util.Date;

import net.teamhot.lucene.ThesaurusAnalyzer;

import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.FuzzyQuery;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.store.LockObtainFailedException;

public class FuzzyQuerySearcher {

private String path = "E:\\Lucene\\index";
private FuzzyQuery fuzzyQuery;

public void createIndex(){
   IndexWriter writer;
   try {
    writer = new IndexWriter(path,new ThesaurusAnalyzer(),true); // 使用ThesaurusAnalyzer 中文分析器
    //writer = new IndexWriter(path,new StandardAnalyzer(),true);
    Field fieldA = new Field("contents","文件夹",Field.Store.YES,Field.Index.TOKENIZED);
    Document docA = new Document();
    docA.add(fieldA);
   
    Field fieldB = new Field("contents","文件名",Field.Store.YES,Field.Index.TOKENIZED);
    Document docB = new Document();
    docB.add(fieldB);
   
    Field fieldC = new Field("contents","文件精神",Field.Store.YES,Field.Index.TOKENIZED);
    Document docC = new Document();
    docC.add(fieldC);
   
    Field fieldD = new Field("contents","文人",Field.Store.YES,Field.Index.TOKENIZED);
    Document docD = new Document();
    docD.add(fieldD);
   
    Field fieldE = new Field("contents","整饬",Field.Store.YES,Field.Index.TOKENIZED);
    Document docE = new Document();
    docE.add(fieldE);

    writer.addDocument(docA);
    writer.addDocument(docB);
    writer.addDocument(docC);
    writer.addDocument(docD);
    writer.addDocument(docE);
   
    /*Field fieldA = new Field("contents","come",Field.Store.YES,Field.Index.TOKENIZED);
    Document docA = new Document();
    docA.add(fieldA);
   
    Field fieldB = new Field("contents","cope",Field.Store.YES,Field.Index.TOKENIZED);
    Document docB = new Document();
    docB.add(fieldB);
   
    Field fieldC = new Field("contents","compleat",Field.Store.YES,Field.Index.TOKENIZED);
    Document docC = new Document();
    docC.add(fieldC);
   
    Field fieldD = new Field("contents","complete",Field.Store.YES,Field.Index.TOKENIZED);
    Document docD = new Document();
    docD.add(fieldD);
   
    Field fieldE = new Field("contents","compile",Field.Store.YES,Field.Index.TOKENIZED);
    Document docE = new Document();
    docE.add(fieldE);
   
    Field fieldF = new Field("contents","compiler",Field.Store.YES,Field.Index.TOKENIZED);
    Document docF = new Document();
    docF.add(fieldF);

    writer.addDocument(docA);
    writer.addDocument(docB);
    writer.addDocument(docC);
    writer.addDocument(docD);
    writer.addDocument(docE);
    writer.addDocument(docF);*/

    writer.close();
   } catch (CorruptIndexException e) {
    e.printStackTrace();
   } catch (LockObtainFailedException e) {
    e.printStackTrace();
   } catch (IOException e) {
    e.printStackTrace();
   }
}

public static void main(String[] args) {
   FuzzyQuerySearcher fqs = new FuzzyQuerySearcher();
   fqs.createIndex();
   Term term = new Term("contents","文件夹");
   fqs.fuzzyQuery = new FuzzyQuery(term);
   try {
    Date startTime = new Date();
    IndexSearcher searcher = new IndexSearcher(fqs.path);
    Hits hits = searcher.search(fqs.fuzzyQuery);
    System.out.println("********************************************************************");
    for(int i=0;i<hits.length();i++){
     System.out.println("Document的内部编号为 ： "+hits.id(i));
     System.out.println("Document内容为 ： "+hits.doc(i));
     System.out.println("Document的得分为 ： "+hits.score(i));
    }
    System.out.println("********************************************************************");
    System.out.println("共检索出符合条件的Document "+hits.length()+" 个。");
    Date finishTime = new Date();
    long timeOfSearch = finishTime.getTime() - startTime.getTime();
    System.out.println("本次搜索所用的时间为 "+timeOfSearch+" ms");
   } catch (CorruptIndexException e) {
    e.printStackTrace();
   } catch (IOException e) {
    e.printStackTrace();
   }

}

}

注意：上面对中文分词使用了ThesaurusAnalyzer中文分析器，其中构造的那些Field都是词库中一个词条。

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.33333322
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 250 ms

在检索的过程中，进行模糊匹配遵循的原则就是词条长度相等，而且相似，这是在中文检索中，我们看下在英文中检索的结果会是怎样。

首先，在建立索引的方法中，打开建立索引函数中的注释部分，将中文分词部分注释掉；并且，使用StandardAnalyzer分析器分词，修改：

Term term = new Term("contents","compiler ");

执行主函数，检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile >>
Document的得分为 ： 0.71428573
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat >>
Document的得分为 ： 0.25
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete >>
Document的得分为 ： 0.25
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 125 ms

对于构造的6个Document中，只有两个不能达到最小相似度0.5的要求。

可见，对于中文和英文来说，都能够体现出类似Fuzzy的思想。

2、使用 public FuzzyQuery(Term term, float minimumSimilarity)构造查询

现在，使用该构造方法进行构造，可以对minimumSimilarity进行设置。因为0<=minimumSimilarity<1.0，我们设置只能在这个范围之内。，分别对中文和英文测试一下。

(1) 设置minimumSimilarity = 0.98

◆ 对于中文的情形：

   Term term = new Term("contents","文件夹");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹 >>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 78 ms

可见，使用中文，设置minimumSimilarity = 0.98是接近精确匹配的检索结果。

◆ 对于英文的情形：

   Term term = new Term("contents","compiler");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 125 ms

可见，对于英文，minimumSimilarity的值越大，匹配越精确。

综上所述，minimumSimilarity的值越大，检索时匹配越精确，获得的检索结果就越少。

(2) 设置minimumSimilarity = 0.75

◆ 对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹 >>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 140 ms

◆ 对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile >>
Document的得分为 ： 0.42857143
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms

(3) 设置minimumSimilarity = 0.60

◆ 对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹 >>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名 >>
Document的得分为 ： 0.16666652
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms

◆ 对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile >>
Document的得分为 ： 0.64285713
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat >>
Document的得分为 ： 0.06249995
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete >>
Document的得分为 ： 0.06249995
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms

(4) 设置minimumSimilarity = 0.40

◆ 对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹 >>
Document的得分为 ： 0.99999994
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名 >>
Document的得分为 ： 0.44444436
********************************************************************
共检索出符合条件的Document 2 个。

◆ 对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 0.99999994
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile >>
Document的得分为 ： 0.7619048
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat >>
Document的得分为 ： 0.375
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete >>
Document的得分为 ： 0.375
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 453 ms

(5) 设置minimumSimilarity = 0.25

对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹 >>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名 >>
Document的得分为 ： 0.5555556
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件精神 >>
Document的得分为 ： 0.1111111
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 172 ms

对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile >>
Document的得分为 ： 0.8095239
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat >>
Document的得分为 ： 0.5
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete >>
Document的得分为 ： 0.5
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms

 

(6) 设置minimumSimilarity = 0.00

对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.6666666
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件精神>>
Document的得分为 ： 0.3333333
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 234 ms

对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler >>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile >>
Document的得分为 ： 0.85714287
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat >>
Document的得分为 ： 0.62499994
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete >>
Document的得分为 ： 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms

从上面的检索结果可以看出，minimumSimilarity没有Fuzzy数学中的那种对称性，而是递减的，即：minimumSimilarity的值越大，检索出的结果越少，但是越精确。

3、使用 public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength)构造查询

这里，对中文的测试，准备工作很重要：分别使用ThesaurusAnalyzer分析器和StandardAnalyzer分析器建立索引，使得索引目录中既包含ThesaurusAnalyzer分析器的词库，又包含使用StandardAnalyzer分析器分词得到的单个汉字作为一个词条。

不要使用StandardAnalyzer分析器对下面除了“武”以外的词条进行分词，只使用StandardAnalyzer分析器对“武”进行分词，因为要保证只有一个Document中含有“武”这个词条。

建立索引的函数修改为：

Field fieldA = new Field("contents","武",Field.Store.YES,Field.Index.TOKENIZED);
    Document docA = new Document();
    docA.add(fieldA);
   
    Field fieldB = new Field("contents","文修武偃",Field.Store.YES,Field.Index.TOKENIZED);
    Document docB = new Document();
    docB.add(fieldB);
   
    Field fieldC = new Field("contents","文东武西",Field.Store.YES,Field.Index.TOKENIZED);
    Document docC = new Document();
    docC.add(fieldC);
   
    Field fieldD = new Field("contents","不使用武力",Field.Store.YES,Field.Index.TOKENIZED);
    Document docD = new Document();
    docD.add(fieldD);
   
    Field fieldE = new Field("contents","不文不武",Field.Store.YES,Field.Index.TOKENIZED);
    Document docE = new Document();
    docE.add(fieldE);

    writer.addDocument(docA);
    writer.addDocument(docB);
    writer.addDocument(docC);
    writer.addDocument(docD);
    writer.addDocument(docE);

 

对于中文，即：

Term term = new Term("contents","文东武西");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,10);

对于英文，即：

   Term term = new Term("contents","compiler");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,0);

(1) 设置minimumSimilarity = 0.00，prefixLength =0

对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 0.99999994
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文修武偃>>
Document的得分为 ： 0.49999997
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:不文不武>>
Document的得分为 ： 0.24999999
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 343 ms

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.85714287
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.62499994
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 375 ms

(2) 设置minimumSimilarity = 0.00，prefixLength =10

对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 297 ms

对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 328 ms

(3) 设置minimumSimilarity = 0.98，prefixLength =0

对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms

对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 344 ms

(4) 设置minimumSimilarity = 0.98，prefixLength =10

对于中文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms

对于英文：

检索结果如下所示：

********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 359 ms

总结

minimumSimilarity越小，模糊度越大，检索出的结果越少，但是越精确；

prefixLength越小，模糊度越到，检索出的结果越少，但是越精确。