Lucene-2.2.0 源代码阅读学习(36)
关于MultiTermQuery查询。
这里研究FuzzyQuery查询。
MultiTermQuery是一个抽象类，继承自它的一种有3个，分别为：FuzzyQuery、WildcardQuery、RegexQuery，其中RegexQuery使用了第三方提供的服务，可以使用正则表达式，如果你对正则表达式很熟悉，可以尝试着使用RegexQuery查询。
FuzzyQuery查询，即模糊查询。
在FuzzyQuery类定义中定义了两个成员变量：
private float minimumSimilarity;
private int prefixLength;
minimumSimilarity是最小相似度，取值范围为0.0~1.0，包含0.0但不包含1.0，默认值为0.5。
prefixLength是前缀长度，默认为0。
其实，在Fuzzy数学中，模糊度被定义为0.5是最模糊的程度，这里说的模糊度是德莱卡模糊度，D(F)=0表示不模糊，即为普通集合；D(F)=05表示最模糊的程度。
使用FuzzyQuery要从的构造方法开始，该类给出3种构造方式：
第一种：
public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength) throws IllegalArgumentException {
super(term);
if (minimumSimilarity >= 1.0f)
throw new IllegalArgumentException("minimumSimilarity >= 1");
else if (minimumSimilarity < 0.0f)
throw new IllegalArgumentException("minimumSimilarity < 0");
if (prefixLength < 0)
throw new IllegalArgumentException("prefixLength < 0");
this.minimumSimilarity = minimumSimilarity;
this.prefixLength = prefixLength;
}
第二种：
public FuzzyQuery(Term term, float minimumSimilarity) throws IllegalArgumentException {
this(term, minimumSimilarity, defaultPrefixLength);
}
第三种：
public FuzzyQuery(Term term) {
this(term, defaultMinSimilarity, defaultPrefixLength);
}
可见，后两种都是使用默认的定义，即minimumSimilarity或者prefixLength使用默认值，最后还是通过第一个构造方法来构造一个FuzzyQuery的实例。
1、使用public FuzzyQuery(Term term)构造查询
实际是这样构造的：FuzzyQuery(term, 0.5f, 0);进行构造。
使用静态定义的具有默认值的两个成员：
minimumSimilarity = defaultMinSimilarity = 0.5f;
prefixLength = defaultPrefixLength = 0;
其实，minimumSimilarity = defaultMinSimilarity = 0.5f并不同于Fuzzy数学中定义的模糊度，minimumSimilarity 表示的应该是一种匹配的严格程度，minimumSimilarity越大表示查询匹配时越严格，通过测试可以看出，如下所示：
package org.apache.lucene.shirdrn.main;
import java.io.IOException;
import java.util.Date;
import net.teamhot.lucene.ThesaurusAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.FuzzyQuery;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.store.LockObtainFailedException;
public class FuzzyQuerySearcher {
private String path = "E:\\Lucene\\index";
private FuzzyQuery fuzzyQuery;
public void createIndex(){
IndexWriter writer;
try {
writer = new IndexWriter(path,new ThesaurusAnalyzer(),true); // 使用ThesaurusAnalyzer 中文分析器
//writer = new IndexWriter(path,new StandardAnalyzer(),true);
Field fieldA = new Field("contents","文件夹",Field.Store.YES,Field.Index.TOKENIZED);
Document docA = new Document();
docA.add(fieldA);
Field fieldB = new Field("contents","文件名",Field.Store.YES,Field.Index.TOKENIZED);
Document docB = new Document();
docB.add(fieldB);
Field fieldC = new Field("contents","文件精神",Field.Store.YES,Field.Index.TOKENIZED);
Document docC = new Document();
docC.add(fieldC);
Field fieldD = new Field("contents","文人",Field.Store.YES,Field.Index.TOKENIZED);
Document docD = new Document();
docD.add(fieldD);
Field fieldE = new Field("contents","整饬",Field.Store.YES,Field.Index.TOKENIZED);
Document docE = new Document();
docE.add(fieldE);
writer.addDocument(docA);
writer.addDocument(docB);
writer.addDocument(docC);
writer.addDocument(docD);
writer.addDocument(docE);
/*Field fieldA = new Field("contents","come",Field.Store.YES,Field.Index.TOKENIZED);
Document docA = new Document();
docA.add(fieldA);
Field fieldB = new Field("contents","cope",Field.Store.YES,Field.Index.TOKENIZED);
Document docB = new Document();
docB.add(fieldB);
Field fieldC = new Field("contents","compleat",Field.Store.YES,Field.Index.TOKENIZED);
Document docC = new Document();
docC.add(fieldC);
Field fieldD = new Field("contents","complete",Field.Store.YES,Field.Index.TOKENIZED);
Document docD = new Document();
docD.add(fieldD);
Field fieldE = new Field("contents","compile",Field.Store.YES,Field.Index.TOKENIZED);
Document docE = new Document();
docE.add(fieldE);
Field fieldF = new Field("contents","compiler",Field.Store.YES,Field.Index.TOKENIZED);
Document docF = new Document();
docF.add(fieldF);
writer.addDocument(docA);
writer.addDocument(docB);
writer.addDocument(docC);
writer.addDocument(docD);
writer.addDocument(docE);
writer.addDocument(docF);*/
writer.close();
} catch (CorruptIndexException e) {
e.printStackTrace();
} catch (LockObtainFailedException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
FuzzyQuerySearcher fqs = new FuzzyQuerySearcher();
fqs.createIndex();
Term term = new Term("contents","文件夹");
fqs.fuzzyQuery = new FuzzyQuery(term);
try {
Date startTime = new Date();
IndexSearcher searcher = new IndexSearcher(fqs.path);
Hits hits = searcher.search(fqs.fuzzyQuery);
System.out.println("********************************************************************");
for(int i=0;i<hits.length();i++){
System.out.println("Document的内部编号为 ： "+hits.id(i));
System.out.println("Document内容为 ： "+hits.doc(i));
System.out.println("Document的得分为 ： "+hits.score(i));
}
System.out.println("********************************************************************");
System.out.println("共检索出符合条件的Document "+hits.length()+" 个。");
Date finishTime = new Date();
long timeOfSearch = finishTime.getTime() - startTime.getTime();
System.out.println("本次搜索所用的时间为 "+timeOfSearch+" ms");
} catch (CorruptIndexException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
注意：上面对中文分词使用了ThesaurusAnalyzer中文分析器，其中构造的那些Field都是词库中一个词条。
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.33333322
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 250 ms
在检索的过程中，进行模糊匹配遵循的原则就是词条长度相等，而且相似，这是在中文检索中，我们看下在英文中检索的结果会是怎样。
首先，在建立索引的方法中，打开建立索引函数中的注释部分，将中文分词部分注释掉；并且，使用StandardAnalyzer分析器分词，修改：
Term term = new Term("contents","compiler");
执行主函数，检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.71428573
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.25
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.25
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 125 ms
对于构造的6个Document中，只有两个不能达到最小相似度0.5的要求。
可见，对于中文和英文来说，都能够体现出类似Fuzzy的思想。
2、使用 public FuzzyQuery(Term term, float minimumSimilarity)构造查询
现在，使用该构造方法进行构造，可以对minimumSimilarity进行设置。因为0<=minimumSimilarity<1.0，我们设置只能在这个范围之内。，分别对中文和英文测试一下。
(1) 设置minimumSimilarity = 0.98
◆ 对于中文的情形：
Term term = new Term("contents","文件夹");
fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 78 ms
可见，使用中文，设置minimumSimilarity = 0.98是接近精确匹配的检索结果。
◆ 对于英文的情形：
Term term = new Term("contents","compiler");
fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 125 ms
可见，对于英文，minimumSimilarity的值越大，匹配越精确。
综上所述，minimumSimilarity的值越大，检索时匹配越精确，获得的检索结果就越少。
(2) 设置minimumSimilarity = 0.75
◆ 对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 140 ms
◆ 对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.42857143
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms
(3) 设置minimumSimilarity = 0.60
◆ 对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.16666652
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms
◆ 对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.64285713
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.06249995
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.06249995
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms
(4) 设置minimumSimilarity = 0.40
◆ 对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 0.99999994
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.44444436
********************************************************************
共检索出符合条件的Document 2 个。
◆ 对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 0.99999994
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.7619048
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.375
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.375
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 453 ms
(5) 设置minimumSimilarity = 0.25
对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.5555556
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件精神>>
Document的得分为 ： 0.1111111
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 172 ms
对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.8095239
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.5
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.5
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms
(6) 设置minimumSimilarity = 0.00
对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 0
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件夹>>
Document的得分为 ： 1.0
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件名>>
Document的得分为 ： 0.6666666
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文件精神>>
Document的得分为 ： 0.3333333
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 234 ms
对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.85714287
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.62499994
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms
从上面的检索结果可以看出，minimumSimilarity没有Fuzzy数学中的那种对称性，而是递减的，即：minimumSimilarity的值越大，检索出的结果越少，但是越精确。
3、使用 public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength)构造查询
这里，对中文的测试，准备工作很重要：分别使用ThesaurusAnalyzer分析器和StandardAnalyzer分析器建立索引，使得索引目录中既包含ThesaurusAnalyzer分析器的词库，又包含使用StandardAnalyzer分析器分词得到的单个汉字作为一个词条。
不要使用StandardAnalyzer分析器对下面除了“武”以外的词条进行分词，只使用StandardAnalyzer分析器对“武”进行分词，因为要保证只有一个Document中含有“武”这个词条。
建立索引的函数修改为：
Field fieldA = new Field("contents","武",Field.Store.YES,Field.Index.TOKENIZED);
Document docA = new Document();
docA.add(fieldA);
Field fieldB = new Field("contents","文修武偃",Field.Store.YES,Field.Index.TOKENIZED);
Document docB = new Document();
docB.add(fieldB);
Field fieldC = new Field("contents","文东武西",Field.Store.YES,Field.Index.TOKENIZED);
Document docC = new Document();
docC.add(fieldC);
Field fieldD = new Field("contents","不使用武力",Field.Store.YES,Field.Index.TOKENIZED);
Document docD = new Document();
docD.add(fieldD);
Field fieldE = new Field("contents","不文不武",Field.Store.YES,Field.Index.TOKENIZED);
Document docE = new Document();
docE.add(fieldE);
writer.addDocument(docA);
writer.addDocument(docB);
writer.addDocument(docC);
writer.addDocument(docD);
writer.addDocument(docE);
对于中文，即：
Term term = new Term("contents","文东武西");
fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,10);
对于英文，即：
Term term = new Term("contents","compiler");
fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,0);
(1) 设置minimumSimilarity = 0.00，prefixLength =0
对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 0.99999994
Document的内部编号为 ： 1
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文修武偃>>
Document的得分为 ： 0.49999997
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:不文不武>>
Document的得分为 ： 0.24999999
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 343 ms
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
Document的内部编号为 ： 4
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compile>>
Document的得分为 ： 0.85714287
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compleat>>
Document的得分为 ： 0.62499994
Document的内部编号为 ： 3
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:complete>>
Document的得分为 ： 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 375 ms
(2) 设置minimumSimilarity = 0.00，prefixLength =10
对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 297 ms
对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 328 ms
(3) 设置minimumSimilarity = 0.98，prefixLength =0
对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms
对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 344 ms
(4) 设置minimumSimilarity = 0.98，prefixLength =10
对于中文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 2
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:文东武西>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms
对于英文：
检索结果如下所示：
********************************************************************
Document的内部编号为 ： 5
Document内容为 ： Document<stored/uncompressed,indexed,tokenized<contents:compiler>>
Document的得分为 ： 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 359 ms
总结
minimumSimilarity越小，模糊度越大，检索出的结果越少，但是越精确；
prefixLength越小，模糊度越到，检索出的结果越少，但是越精确。