Lucene-2.2.0 源代码阅读学习(36)

关于MultiTermQuery查询。

这里研究FuzzyQuery查询。

MultiTermQuery是一个抽象类,继承自它的一种有3个,分别为:FuzzyQuery、WildcardQuery、RegexQuery,其中RegexQuery使用了第三方提供的服务,可以使用正则表达式,如果你对正则表达式很熟悉,可以尝试着使用RegexQuery查询。

FuzzyQuery查询,即模糊查询。

在FuzzyQuery类定义中定义了两个成员变量:

private float minimumSimilarity;
private int prefixLength;

minimumSimilarity是最小相似度,取值范围为0.0~1.0,包含0.0但不包含1.0,默认值为0.5。

prefixLength是前缀长度,默认为0。

其实,在Fuzzy数学中,模糊度被定义为0.5是最模糊的程度,这里说的模糊度是德莱卡模糊度,D(F)=0表示不模糊,即为普通集合;D(F)=05表示最模糊的程度。

使用FuzzyQuery要从的构造方法开始,该类给出3种构造方式:

第一种:

public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength) throws IllegalArgumentException {
    super(term);
   
    if (minimumSimilarity >= 1.0f)
      throw new IllegalArgumentException("minimumSimilarity >= 1");
    else if (minimumSimilarity < 0.0f)
      throw new IllegalArgumentException("minimumSimilarity < 0");
    if (prefixLength < 0)
      throw new IllegalArgumentException("prefixLength < 0");
   
    this.minimumSimilarity = minimumSimilarity;
    this.prefixLength = prefixLength;
}

第二种:

public FuzzyQuery(Term term, float minimumSimilarity) throws IllegalArgumentException {
      this(term, minimumSimilarity, defaultPrefixLength);
}

第三种:

public FuzzyQuery(Term term) {
    this(term, defaultMinSimilarity, defaultPrefixLength);
}

可见,后两种都是使用默认的定义,即minimumSimilarity或者prefixLength使用默认值,最后还是通过第一个构造方法来构造一个FuzzyQuery的实例。

1、使用public FuzzyQuery(Term term)构造查询

实际是这样构造的:FuzzyQuery(term, 0.5f, 0);进行构造。

使用静态定义的具有默认值的两个成员:

minimumSimilarity = defaultMinSimilarity = 0.5f;
prefixLength = defaultPrefixLength = 0;

其实,minimumSimilarity = defaultMinSimilarity = 0.5f并不同于Fuzzy数学中定义的模糊度,minimumSimilarity 表示的应该是一种匹配的严格程度,minimumSimilarity越大表示查询匹配时越严格,通过测试可以看出,如下所示:

package org.apache.lucene.shirdrn.main;

import java.io.IOException;
import java.util.Date;

import net.teamhot.lucene.ThesaurusAnalyzer;

import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.FuzzyQuery;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.store.LockObtainFailedException;

public class FuzzyQuerySearcher {

private String path = "E:\\Lucene\\index";
private FuzzyQuery fuzzyQuery;

public void createIndex(){
   IndexWriter writer;
   try {
    writer = new IndexWriter(path,new ThesaurusAnalyzer(),true); // 使用ThesaurusAnalyzer 中文分析器
    //writer = new IndexWriter(path,new StandardAnalyzer(),true);
    Field fieldA = new Field("contents","文件夹",Field.Store.YES,Field.Index.TOKENIZED);
    Document docA = new Document();
    docA.add(fieldA);
   
    Field fieldB = new Field("contents","文件名",Field.Store.YES,Field.Index.TOKENIZED);
    Document docB = new Document();
    docB.add(fieldB);
   
    Field fieldC = new Field("contents","文件精神",Field.Store.YES,Field.Index.TOKENIZED);
    Document docC = new Document();
    docC.add(fieldC);
   
    Field fieldD = new Field("contents","文人",Field.Store.YES,Field.Index.TOKENIZED);
    Document docD = new Document();
    docD.add(fieldD);
   
    Field fieldE = new Field("contents","整饬",Field.Store.YES,Field.Index.TOKENIZED);
    Document docE = new Document();
    docE.add(fieldE);

    writer.addDocument(docA);
    writer.addDocument(docB);
    writer.addDocument(docC);
    writer.addDocument(docD);
    writer.addDocument(docE);
   
    /*Field fieldA = new Field("contents","come",Field.Store.YES,Field.Index.TOKENIZED);
    Document docA = new Document();
    docA.add(fieldA);
   
    Field fieldB = new Field("contents","cope",Field.Store.YES,Field.Index.TOKENIZED);
    Document docB = new Document();
    docB.add(fieldB);
   
    Field fieldC = new Field("contents","compleat",Field.Store.YES,Field.Index.TOKENIZED);
    Document docC = new Document();
    docC.add(fieldC);
   
    Field fieldD = new Field("contents","complete",Field.Store.YES,Field.Index.TOKENIZED);
    Document docD = new Document();
    docD.add(fieldD);
   
    Field fieldE = new Field("contents","compile",Field.Store.YES,Field.Index.TOKENIZED);
    Document docE = new Document();
    docE.add(fieldE);
   
    Field fieldF = new Field("contents","compiler",Field.Store.YES,Field.Index.TOKENIZED);
    Document docF = new Document();
    docF.add(fieldF);

    writer.addDocument(docA);
    writer.addDocument(docB);
    writer.addDocument(docC);
    writer.addDocument(docD);
    writer.addDocument(docE);
    writer.addDocument(docF);*/

    writer.close();
   } catch (CorruptIndexException e) {
    e.printStackTrace();
   } catch (LockObtainFailedException e) {
    e.printStackTrace();
   } catch (IOException e) {
    e.printStackTrace();
   }
}

public static void main(String[] args) {
   FuzzyQuerySearcher fqs = new FuzzyQuerySearcher();
   fqs.createIndex();
   Term term = new Term("contents","文件夹");
   fqs.fuzzyQuery = new FuzzyQuery(term);
   try {
    Date startTime = new Date();
    IndexSearcher searcher = new IndexSearcher(fqs.path);
    Hits hits = searcher.search(fqs.fuzzyQuery);
    System.out.println("********************************************************************");
    for(int i=0;i<hits.length();i++){
     System.out.println("Document的内部编号为 : "+hits.id(i));
     System.out.println("Document内容为 : "+hits.doc(i));
     System.out.println("Document的得分为 : "+hits.score(i));
    }
    System.out.println("********************************************************************");
    System.out.println("共检索出符合条件的Document "+hits.length()+" 个。");
    Date finishTime = new Date();
    long timeOfSearch = finishTime.getTime() - startTime.getTime();
    System.out.println("本次搜索所用的时间为 "+timeOfSearch+" ms");
   } catch (CorruptIndexException e) {
    e.printStackTrace();
   } catch (IOException e) {
    e.printStackTrace();
   }

}

}

注意:上面对中文分词使用了ThesaurusAnalyzer中文分析器,其中构造的那些Field都是词库中一个词条。

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 : 0.33333322
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 250 ms

在检索的过程中,进行模糊匹配遵循的原则就是词条长度相等,而且相似,这是在中文检索中,我们看下在英文中检索的结果会是怎样。

首先,在建立索引的方法中,打开建立索引函数中的注释部分,将中文分词部分注释掉;并且,使用StandardAnalyzer分析器分词,修改:

Term term = new Term("contents","compiler");

执行主函数,检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.71428573
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 : 0.25
Document的内部编号为 : 3
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 : 0.25
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 125 ms

对于构造的6个Document中,只有两个不能达到最小相似度0.5的要求。

可见,对于中文和英文来说,都能够体现出类似Fuzzy的思想。

2、使用 public FuzzyQuery(Term term, float minimumSimilarity)构造查询

现在,使用该构造方法进行构造,可以对minimumSimilarity进行设置。因为0<=minimumSimilarity<1.0,我们设置只能在这个范围之内。,分别对中文和英文测试一下。

(1) 设置minimumSimilarity = 0.98

◆ 对于中文的情形:

   Term term = new Term("contents","文件夹");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 78 ms

可见,使用中文,设置minimumSimilarity = 0.98是接近精确匹配的检索结果。

◆ 对于英文的情形:

   Term term = new Term("contents","compiler");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 125 ms

可见,对于英文,minimumSimilarity的值越大,匹配越精确。

综上所述,minimumSimilarity的值越大,检索时匹配越精确,获得的检索结果就越少。

(2) 设置minimumSimilarity = 0.75

◆ 对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 140 ms

◆ 对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.42857143
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms

(3) 设置minimumSimilarity = 0.60

◆ 对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 : 0.16666652
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms

◆ 对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.64285713
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 : 0.06249995
Document的内部编号为 : 3
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 : 0.06249995
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms

(4) 设置minimumSimilarity = 0.40

◆ 对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 0.99999994
Document的内部编号为 : 1
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 : 0.44444436
********************************************************************
共检索出符合条件的Document 2 个。

◆ 对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 0.99999994
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.7619048
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 : 0.375
Document的内部编号为 : 3
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 : 0.375
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 453 ms

(5) 设置minimumSimilarity = 0.25

对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 : 0.5555556
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件精神>>
Document的得分为 : 0.1111111
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 172 ms

对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.8095239
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 : 0.5
Document的内部编号为 : 3
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 : 0.5
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms

 

(6) 设置minimumSimilarity = 0.00

对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 0
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 : 0.6666666
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文件精神>>
Document的得分为 : 0.3333333
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 234 ms

对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.85714287
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 : 0.62499994
Document的内部编号为 : 3
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 : 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms

从上面的检索结果可以看出,minimumSimilarity没有Fuzzy数学中的那种对称性,而是递减的,即:minimumSimilarity的值越大,检索出的结果越少,但是越精确。

3、使用 public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength)构造查询

这里,对中文的测试,准备工作很重要:分别使用ThesaurusAnalyzer分析器和StandardAnalyzer分析器建立索引,使得索引目录中既包含ThesaurusAnalyzer分析器的词库,又包含使用StandardAnalyzer分析器分词得到的单个汉字作为一个词条。

不要使用StandardAnalyzer分析器对下面除了“武”以外的词条进行分词,只使用StandardAnalyzer分析器对“武”进行分词,因为要保证只有一个Document中含有“武”这个词条。

建立索引的函数修改为:

Field fieldA = new Field("contents","武",Field.Store.YES,Field.Index.TOKENIZED);
    Document docA = new Document();
    docA.add(fieldA);
   
    Field fieldB = new Field("contents","文修武偃",Field.Store.YES,Field.Index.TOKENIZED);
    Document docB = new Document();
    docB.add(fieldB);
   
    Field fieldC = new Field("contents","文东武西",Field.Store.YES,Field.Index.TOKENIZED);
    Document docC = new Document();
    docC.add(fieldC);
   
    Field fieldD = new Field("contents","不使用武力",Field.Store.YES,Field.Index.TOKENIZED);
    Document docD = new Document();
    docD.add(fieldD);
   
    Field fieldE = new Field("contents","不文不武",Field.Store.YES,Field.Index.TOKENIZED);
    Document docE = new Document();
    docE.add(fieldE);

    writer.addDocument(docA);
    writer.addDocument(docB);
    writer.addDocument(docC);
    writer.addDocument(docD);
    writer.addDocument(docE);

 

对于中文,即:

Term term = new Term("contents","文东武西");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,10);

对于英文,即:

   Term term = new Term("contents","compiler");
   fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,0);

(1) 设置minimumSimilarity = 0.00,prefixLength =0

对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 : 0.99999994
Document的内部编号为 : 1
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文修武偃>>
Document的得分为 : 0.49999997
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:不文不武>>
Document的得分为 : 0.24999999
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 343 ms

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 : 0.85714287
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 : 0.62499994
Document的内部编号为 : 3
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 : 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 375 ms

(2) 设置minimumSimilarity = 0.00,prefixLength =10

对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 297 ms

对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 328 ms

(3) 设置minimumSimilarity = 0.98,prefixLength =0

对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms

对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 344 ms

(4) 设置minimumSimilarity = 0.98,prefixLength =10

对于中文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 2
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms

对于英文:

检索结果如下所示:

********************************************************************
Document的内部编号为 : 5
Document内容为 : Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 359 ms

总结

minimumSimilarity越小,模糊度越大,检索出的结果越少,但是越精确;

prefixLength越小,模糊度越到,检索出的结果越少,但是越精确。

你可能感兴趣的:(apache,正则表达式,F#,Lucene)