Lucene入门详解(一)

一、介绍

实现一个文件的搜索功能，通过关键字搜索文件，凡是文件名或文件内容包括关键字的文件都需要找出来。还可以根据中文词语进行查询，并且支持多种条件查询。

二、需求分析

2.1 数据分类

我们生活中的数据总体分为两种：结构化数据和非结构化数据。
结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。
非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件。

2.2 结构化数据查找方法

数据库中数据通过sql语句可以搜索。元数据(windows中的)通过windows提供的搜索栏进行搜索。

2.3 非结构化数据查找方法

（1）顺序扫描法(Serial Scanning)
所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容，只是相当的慢。
（2）全文检索(Full-text Search)
将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。例如：字典。字典的拼音表和部首检字表就相当于字典的索引，对每一个字的解释是非结构化的，如果字典没有音节表和部首检字表，在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理，比如读音，就比较结构化，分声母和韵母，分别只有几种可以一一列举，于是将读音拿出来按一定的顺序排列，每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音，然后按其指向的页数，便可找到我们的非结构化数据——也即对字的解释。这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。
优点: 搜索速度快。
缺点: 因为创建的索引需要占用磁盘空间,所以这个算法会使用掉更多的磁盘空间,这是用空间换时间。
原理: 相当于字典,分为目录和正文两部分,查询的时候通过先查目录,然后通过目录上标注的页数去正文查找需要的内容.

2.4. 如何实现全文检索
可以使用Lucene实现全文检索。Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

2.5. 全文检索的应用场景
1. 互联网全文检索引擎(比如百度,  谷歌,  必应)。
2. 站内全文检索引擎(淘宝, 京东搜索功能)。
3. 优化数据库查询(因为数据库中使用like关键字是全表扫描也就是顺序扫描算法,查询慢)。

三、Lucene相关介绍

3.1. 官方网站：http://lucene.apache.org/ 

3.2 索引和搜索流程图

1、绿色表示创建索引过程，对要搜索的原始内容进行创建索引构建一个索引库，创建索引过程包括：
确定原始内容即要搜索的内容-->采集文档-->创建文档-->分析文档-->索引文档
2、红色表示搜索过程，从索引库中搜索内容，搜索过程包括：
用户通过搜索界面-->创建查询-->执行搜索，从索引库搜索-->渲染搜索结果

3.3 创建索引

对文档索引的过程，将用户要搜索的文档内容进行索引，索引存储在索引库（index）中。这里我们要搜索的文档是磁盘上的文本文件，根据案例描述：凡是文件名或文件内容包括关键字的文件都要找出来，这里要对文件名和文件内容创建索引。

3.3.1. 获得原始文档

原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。 本案例中的原始内容就是项目中的文件，如下图：

从互联网上、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，信息采集的目的是为了对原始内容进行索引。在Internet上采集信息的软件通常称为爬虫或蜘蛛，也称为网络机器人，爬虫访问互联网上的每一个网页，将获取到的网页内容存储起来。Lucene不提供信息采集的类库，需要自己编写一个爬虫程序实现信息采集，也可以通过一些开源软件实现信息采集，如下：

(1). Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。
(2). jsoup（http://jsoup.org/ ），jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
(3). heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

本案例我们要获取磁盘上文件的内容，可以通过文件流来读取文本文件的内容，对于pdf、doc、xls等文件可通过第三方提供的解析工具读取文件内容，比如Apache POI读取doc和xls的文件内容。

3.3.2. 创建文档对象

获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（Document），文档中包括一个一个的域（Field），域中存储内容。这里我们可以将磁盘上的一个文件当成一个document，Document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容），如下图：

注意：每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同）每个文档都有一个唯一的编号，就是文档id。

3.3.3. 分析文档

将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。比如下边的文档经过分析如下，原文档内容：
Lucene is a Java full-text search engine.  Lucene is not a complete
application, but rather a code library and API that can easily be used
to add search capabilities to applications.
分析后得到的语汇单元：
lucene、java、full、search、engine。。。。

每个单词叫做一个Term，不同的域中拆分出来的相同的单词是不同的term。term中包含两部分，一部分是文档的域名，另一部分是单词的内容。例如：文件名中包含apache和文件内容中包含的apache是不同的term。

3.3.4. 创建索引

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。
传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。 倒排索引结构是根据内容（词语）找文档，如下图： 

倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。

3.4 查询索引

查询索引也是搜索的过程。搜索就是用户输入关键字，从索引（index）中进行搜索的过程。根据关键字搜索索引，根据索引找到对应的文档，从而找到要搜索的内容（这里指磁盘上的文件）。 

3.4.1 用户查询接口
全文检索系统提供用户搜索的界面供用户提交搜索的关键字，搜索完成展示搜索结果。比如：

Lucene不提供制作用户搜索界面的功能，需要根据自己的需求开发搜索界面。

3.4.2 创建查询
用户输入查询关键字执行搜索之前需要先构建一个查询对象，查询对象中可以指定查询要搜索的Field文档域、查询关键字等，查询对象会生成具体的查询语法，比如：语法 “fileName:spring.txt”表示要搜索Field域的内容为“spring.txt”的文档。语法 “lucene AND java” 表示要搜索即包括关键字“lucene”也包括“java”的文档。

3.4.3 执行查询
搜索索引过程：
1. 根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。比如搜索语法为“lucene AND java”表示搜索出的文档中即要包括lucene也要包括java。

2、由于是AND，所以要对包含lucene或java词语的链表进行交集，得到文档链表应该包括每一个搜索词语。

3、获取文档中的Field域数据。

3.4.4  渲染结果
以一个友好的界面将查询结果展示给用户，用户根据搜索结果找自己想要的信息，为了帮助用户很快找到自己的结果，提供了很多展示的效果，比如搜索结果中将关键字高亮显示，百度提供的快照等。

四、配置开发环境

4.1 Lucene下载

Lucene是开发全文检索功能的工具包，从官方网站下载Lucene4.10.3，并解压。
官方网站：http://lucene.apache.org/
版本：lucene4.10.3
Jdk要求：1.7以上
IDE：Eclipse

4.2  使用的jar包

五、创建索引库

使用indexwriter对象创建索引。

5.1 实现步骤

第一步：创建文档列表, 用来保存多个Document。
第二步：获取源文件所在目录。

第三步：遍历源文件所在目录下的所有文件，并将每个具体文件封装成Document,加入Document列表中。

第四步：创建分词器Analyzer。

第五步：指定索引存储的目录。

第六步：创建索引写对象IndexWriter。

第七步：将文档加入索引写对象IndexWriter中。

第八步：提交索引写对象IndexWriter中的内容。

第九步：关闭索引写对象IndexWriter。

5.2 代码实现

package com.npf.lucene;

import java.io.File;
import java.util.ArrayList;
import java.util.List;

import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class IndexManager {
	
	public static ClassLoader manager = IndexManager.class.getClassLoader();

	public static final String dirPath = manager.getResource("com/npf/lucene/file").getPath();
	
	public static final String indexPath = manager.getResource("com/npf/lucene/index").getPath();
	
	
	public static void main(String[] args) throws Exception{
		//1. 创建文档列表,用来保存多个Document
		List docList = createDocumentList();
		//2.获取源文件所在目录
		File dir = getSourceFileDirectory(); 
		//3.遍历源文件所在目录下的所有文件，并将每个具体文件封装成Document,加入Document列表中
		docList = lookupFileIntoDocument(docList,dir);
		//4.创建分词器Analyzer
		Analyzer analyzer = createAnalyzer();
		//5.指定索引存储的目录
		Directory directory = createDirectory();
		//6.创建索引写对象
		IndexWriter indexWriter = createIndexWriter(analyzer,directory);
		//7.将文档加入索引写对象中
		addDocumentToIndexWriter(indexWriter,docList);
		//8.提交索引写对象
		indexWriterCommit(indexWriter);
		//9.关闭索引写对象
		indexWriterClose(indexWriter);
	}
	
	/**
	 * 创建文档列表,保存多个Document
	 */
	public static List createDocumentList(){
		List docList = new ArrayList();
		return docList;
	}
	
	/**
	 * 获取源文件所在目录
	 */
	public static File getSourceFileDirectory(){
		File dir = new File(dirPath); 
		return dir;
	}
	
	/**
	 * 遍历源文件所在目录下的所有文件，并将每个具体文件封装成Document,加入Document列表中
	 */
	public static List lookupFileIntoDocument(final List docList,File dir) throws Exception{
		for(File file : dir.listFiles()){
			String fileName = file.getName();
			String fileContext = FileUtils.readFileToString(file);
			Long fileSize = FileUtils.sizeOf(file);
			Document doc = new Document();
			//第一个参数:域名
			//第二个参数:域值
			//第三个参数:是否存储,是为yes,不存储为no
			TextField nameFiled = new TextField("fileName", fileName, Store.YES);
			TextField contextFiled = new TextField("fileContext", fileContext, Store.YES);
			TextField sizeFiled = new TextField("fileSize", fileSize.toString(), Store.YES);
			//将所有的域都存入文档中
			doc.add(nameFiled);
			doc.add(contextFiled);
			doc.add(sizeFiled);
			docList.add(doc);
		}
		return docList;
	}
	
	/**
	 * 创建分词器,StandardAnalyzer标准分词器,标准分词器对英文分词效果很好,对中文是单字分词
	 */
	public static Analyzer createAnalyzer(){
		Analyzer analyzer = new StandardAnalyzer();
		return analyzer;
	}
	
	/**
	 * 指定索引和文档存储的目录
	 */
	public static Directory createDirectory() throws Exception{
		Directory directory = FSDirectory.open(new File(indexPath));
		return directory;
	}
	
	/**
	 * 创建索引写对象
	 */
	public static IndexWriter createIndexWriter(Analyzer analyzer,Directory directory) throws Exception{
		//创建索引和文档的写对象的初始化对象
		IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_4_10_3, analyzer);
		//创建索引和文档的写对象
		IndexWriter indexWriter = new IndexWriter(directory, config);
		return indexWriter;
	}
	
	/**
	 * 将文档加入到索引写对象中
	 */
	public static void addDocumentToIndexWriter(IndexWriter indexWriter,List docList) throws Exception{
		for(Document doc1 : docList){
			indexWriter.addDocument(doc1);
		}
	}
	
	/**
	 * 索引写对象的提交
	 */
	public static void indexWriterCommit(IndexWriter indexWriter) throws Exception{
		indexWriter.commit();
	}
	
	/**
	 * 索引写对象的关闭
	 */
	public static void indexWriterClose(IndexWriter indexWriter) throws Exception{
		indexWriter.close();
	}
}

六、查询索引

6.1 实现步骤

第一步：创建分词器，创建索引和使用时所用的分词器必须一致。
第二步：创建查询对象。
第三步：指定索引的目录，也就是索引库存放的位置。
第四步：创建索引的读取对象。
第五步：创建索引的搜索对象。
第六步：执行查询。
6.2 IndexSearcher搜索方法

方法	说明
indexSearcher.search(query, n)	根据Query搜索，返回评分最高的n条记录
indexSearcher.search(query, filter, n)	根据Query搜索，添加过滤策略，返回评分最高的n条记录
indexSearcher.search(query, n, sort)	根据Query搜索，添加排序策略，返回评分最高的n条记录
indexSearcher.search(query, filter, n, sort)	根据Query搜索，添加过滤策略，添加排序策略，返回评分最高的n条记录

6.3 代码实现

package com.npf.lucene;

import java.io.File;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class IndexSearch {
	
	public static ClassLoader manager = IndexManager.class.getClassLoader();
	
	public static final String indexPath = manager.getResource("com/npf/lucene/index").getPath();
	
	public static void main(String[] args) throws Exception{
		//1.创建分词器(创建索引和使用时所用的分词器必须一致)
		Analyzer analyzer = createAnalyzer();
		//2.创建查询对象
		Query query = createQuery(analyzer);
		//3.指定索引的目录
		Directory dir = createDirectory();
		//4.创建索引的读取对象
		IndexReader indexReader = createIndexReader(dir);
		//5.创建索引的搜索对象
		IndexSearcher indexSearcher = createIndexSearcher(indexReader);
		//搜索:第一个参数为查询语句对象, 第二个参数:指定显示多少条
		TopDocs topdocs = indexSearcher.search(query, 2);
		//一共搜索到多少条记录
		System.out.println("=====count=====" + topdocs.totalHits);
		//从搜索结果对象中获取结果集
		ScoreDoc[] scoreDocs = topdocs.scoreDocs;
		for(ScoreDoc scoreDoc : scoreDocs){
			//获取docID
			int docID = scoreDoc.doc;
			//通过文档ID从硬盘中读取出对应的文档
			Document document = indexReader.document(docID);
			//get域名可以取出值 打印
			System.out.println("fileName:" + document.get("fileName"));
			System.out.println("fileSize:" + document.get("fileSize"));
			System.out.println("============================================================");
		}
	}

	/**
	 * 创建索引的搜索对象
	 */
	public static IndexSearcher createIndexSearcher(IndexReader indexReader) {
		IndexSearcher indexSearcher = new IndexSearcher(indexReader);
		return indexSearcher;
	}
	
	/**
	 * 创建分词器,StandardAnalyzer标准分词器,标准分词器对英文分词效果很好,对中文是单字分词
	 */
	public static Analyzer createAnalyzer(){
		Analyzer analyzer = new StandardAnalyzer();
		return analyzer;
	}
	
	/**
	 * 创建查询对象,第一个参数:默认搜索域, 第二个参数:分词器
	 * 默认搜索域作用:如果搜索语法中指定了域名,从指定域中搜索,如果搜索时只写了查询关键字,则从默认搜索域中进行搜索
	 */
	public static Query createQuery(Analyzer analyzer) throws Exception{
		QueryParser queryParser = new QueryParser("fileContext", analyzer);
		//查询语法=域名:搜索的关键字
		Query query = queryParser.parse("fileContext:recommended");
		return query;
	}
	
	/**
	 * 指定索引的目录
	 */
	public static Directory createDirectory() throws Exception{
		Directory directory = FSDirectory.open(new File(indexPath));
		return directory;
	}
	
	
	/**
	 * 索引的读取对象
	 */
	public static IndexReader createIndexReader(Directory dir) throws Exception{
		IndexReader indexReader = IndexReader.open(dir);
		return indexReader;
	}

}

6.4 TopDocs

Lucene搜索结果可通过TopDocs遍历，TopDocs类提供了少量的属性，如下：

方法或属性	说明
totalHits	匹配搜索条件的总记录数
scoreDocs	顶部匹配记录

源代码的github地址：https://github.com/lucene-in-action/lucene-index-manager-search