自己动手写搜索引擎（常搜吧历程二#索引#）（Java、Lucene、hadoop）

Lucene的核心索引类：

1、IndexWriter：建立索引的核心组件。

2、Directory：代表一个lucene索引项的位置。

3、Analyzer：对文本内容进行分析的抽象类，具体实现中有停用词切除 、词干分析、大小写切换等功能。

4、Document：可以视作文本经过处理后所对应的对象，由多个字段组成 ，如路径、标题、摘要、修改日期等等。

5、Field：字段 ，对应于文本的某一部分数据，便于检索时根据结果提取。早期版本分为四个类型：Keyword、UnIndexed、UnStored和Text，其主要区别归结于三个方面：是否被分析，是否被索引，是否存储于索引中。但是在最新版本的Lucene中，使用了一种更为统一的形式，也即只有Field一个类，然后使用一些参数来描述这个字段的属性，通过参数组合，可以组合出各种类别，甚至那四种不存在的类别理论上也是可以组合出来。

public Field (String name, String value, Store store, Index index)

下面来看一个例子代码：

package com.qianyan.luceneIndex;

import java.io.IOException;


import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class IndexTest {

	public static void main(String[] args) throws IOException{
	
		String[] ids = {"1", "2", "3"};
		String[] names = {"zhangsan", "lisi", "wangwu"};
		String[] addresses = {"shanghai", "beijing", "guangzhou"};
		Analyzer analyzer = new StandardAnalyzer();
		String indexDir = "E:/luceneindex";
		Directory dir = FSDirectory.getDirectory(indexDir);
		//true 表示创建或覆盖当前索引；false 表示对当前索引进行追加
		//Default value is 128
		IndexWriter writer = new IndexWriter(dir, analyzer, true, IndexWriter.MaxFieldLength.LIMITED);
		for(int i = 0; i < ids.length; i++){
			Document document = new Document();
			document.add(new Field("id", ids[i], Field.Store.YES, Field.Index.ANALYZED));
			document.add(new Field("name", names[i], Field.Store.YES, Field.Index.NOT_ANALYZED));
			document.add(new Field("address", addresses[i], Field.Store.YES, Field.Index.ANALYZED));
			writer.addDocument(document);
		}
		writer.optimize();
		writer.close();
	}
	
}

运行后查看 E:/luceneindex 会看到生成的索引文件。

删除索引：

package com.qianyan.luceneIndex;

import java.io.IOException;

import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class TestDelDocument {

	public static void main(String[] args) throws IOException{
		String indexDir = "E:/luceneindex";
		Directory dir = FSDirectory.getDirectory(indexDir);
		IndexReader reader = IndexReader.open(dir);
		System.out.println(reader.maxDoc());
		//直接根据序号删除索引 注：从0开始
		//reader.deleteDocument(0);
		//根据索引值名删除索引
		//reader.deleteDocuments(new Term("id", "3"));
		System.out.println(reader.numDocs());
		reader.close();
		dir.close();
	}
}

取消删除标记索引：

package com.qianyan.luceneIndex;

import java.io.IOException;

import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class UnDeleteDocument {

	public static void main(String[] args) throws IOException {
		String indexDir = "E:/luceneindex";
		Directory dir = FSDirectory.getDirectory(indexDir);
		IndexReader reader = IndexReader.open(dir);
		
		System.out.println("before delete:" + reader.numDocs());
		
		reader.deleteDocuments(new Term("id", "1"));
		System.out.println("after delete:" + reader.numDocs());
		
		reader.undeleteAll();
		System.out.println("after undelete:" + reader.numDocs());
		
		reader.close();
		dir.close();
		
	}
}

修改索引（注：在lucene里修改意味着 删除后添加）

package com.qianyan.luceneIndex;

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.Term;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class UpdateDocument {

	public static void main(String[] args) throws IOException{
		Analyzer analyzer = new StandardAnalyzer();
		String indexDir = "E:/luceneindex";
		Directory dir = FSDirectory.getDirectory(indexDir);
		IndexReader reader = IndexReader.open(dir);
		
		System.out.println("before delete : " + reader.numDocs());
		reader.deleteDocuments(new Term("id", "2"));
		System.out.println("after delete : " + reader.numDocs());
		reader.close();
		
		IndexWriter writer = new IndexWriter(dir, analyzer, false, IndexWriter.MaxFieldLength.LIMITED);
		Document document = new Document();
		document.add(new Field("id", "2", Field.Store.YES, Field.Index.ANALYZED));
		document.add(new Field("name", "Tom", Field.Store.YES, Field.Index.ANALYZED));
		document.add(new Field("address", "tianjin", Field.Store.YES, Field.Index.ANALYZED));
		writer.addDocument(document);	
		writer.close();
		
		reader = IndexReader.open(dir);
		System.out.println("after add : " + reader.numDocs());
		
		dir.close();
		reader.close();
	}
}

在lucene中搜索算法的score简单说是由 tf * idf * boost * lengthNorm计算得来的。

tf：是查询的词在文档中出现的次数的平方根

idf：表示反转文档频率。

boost：激励因子，可以通过setBoost方法设置，需要说明的通过field和doc都可以设置，所设置的值lengthNorm，是由搜索的field的长度决定了，越长文档的分值越低。

控制score的就是设置boost值。

lucene会把计算后，最大分值超过1.0的分值作为分母，其他的文档的分值都除以这个最大值，计算出最终的得分。

document.setBoost(0.5f);  //不太重要

document.setBoost(1.5f);  //比较重要

field.setBoost(0.5f);  //不太重要

field.setBoost(1.5f);  //比较重要

lucene索引效率设置：

setMaxBufferedDocs  16MB

setMergeFactor  10

setMaxMergeDocs  Inter.Max_VALUE;

Directory dir = FSDirectory.getDirectory(indexDir);      //文件系统读取，IO操作

Directory dir = RAMDirectory();       //内存读取，效率高，容量小