使用Lucene建立索引

最近在看Lucene in Action这本书的原著，第一步就是建立要建立文件索引，当然文件必须为统一的格式，Lucene不支持异构文件。
我练习了书中的listing 1.1：Indexer，由于我使用的是Lucene3.5版本，而书中使用的3.0，3.5和3.0是有一些差异的！

package org.apache.lucene.indexer; import java.io.File; import java.io.FileReader; import java.io.IOException; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.CorruptIndexException; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; public class Indexer { private IndexWriter writer = null; /** * 完成索引建立 * @param args * @throws Exception */ public static void main(String[] args) throws Exception { if(args.length != 2) { throw new Exception("Usage: java"+Indexer.class.getName() +"<index dir> <data dir>"); } //存放索引的目录 String indexDir = args[0]; //需要被索引的文件存放的目录 String dataDir = args[1]; //用来测试Lucene建立索引所耗时间 long start = System.currentTimeMillis(); Indexer indexer = new Indexer(indexDir); int numIndexed = indexer.index(dataDir); indexer.close(); long end = System.currentTimeMillis(); System.out.println("Indexing "+numIndexed+" use "+(start-end)+"milliseconds"); } /** * 构造函数 * @param indexDir * @throws IOException */ public Indexer(String indexDir) throws IOException { // Creates an FSDirectory instance, trying to pick the best implementation given the current environment. Directory dir = FSDirectory.open(new File(indexDir)); //3.5版本之后使用这种方式来建立writer，参数：版本号，标准分词器 IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_35, new StandardAnalyzer(Version.LUCENE_35)); writer = new IndexWriter(dir, iwc); } /** * 把存放的文件建立为索引 * @param dataDir * @return writer.numDocs * @throws IOException */ private int index(String dataDir) throws IOException { //得到所有文件，listFiles为遍历文件 File[] files = new File(dataDir).listFiles(); for(int i=0; i<files.length; i++) { File f = files[i]; if(!f.isDirectory() && !f.isHidden() && f.canRead() && acceptFile(f)) { indexFile(f); } } return writer.numDocs(); } /** * 把文档加入Lucene的索引中 * @param f * @throws IOException */ private void indexFile(File f) throws IOException { //getCanonicalPath，更加通用，可以包含特殊字符，跨平台 //Returns the canonical pathname string of this abstract pathname. System.out.println("Indexing"+f.getCanonicalPath()); Document doc = getDocument(f); if(doc != null) { writer.addDocument(doc); } } /** * 对文档进行索引，此处只对文档的内容和名称域进行索引 * @param f * @return doc * @throws IOException */ private Document getDocument(File f) throws IOException { Document doc = new Document(); //内容可以不做存储 doc.add(new Field("contents", new FileReader(f))); //文件名存储，建立索引，但是依据情况没有必要对其进行分词 doc.add(new Field("filename", f.getCanonicalPath(),Field.Store.YES,Field.Index.NOT_ANALYZED)); return doc; } /** * 只允许对.txt文件作出处理，把它进行索引 * @param f * @return */ private boolean acceptFile(File f) { return f.getName().endsWith(".txt"); } /** * 当索引建立成功时，要记得关闭writer * @throws IOException * @throws CorruptIndexException */ private void close() throws CorruptIndexException, IOException { writer.close(); } }
在输入参数（D:\abc\lucene\index03 D:\abc\lucene）之后，运行结果为：
IndexingD:\abc\lucene\abc.txt IndexingD:\abc\lucene\car.txt IndexingD:\abc\lucene\hello.txt Indexing 3 use -1156milliseconds

以上程序中用到的类简要介绍：

IndexWriter
这个类可以建立一个新的索引或者打开一个已经存在的索引，
可以对索引进行增删改，但是不可以搜索和读取
Directory是IndexWriter存放索引的地方

FSDirectory在文件系统中存，RAMDirectory存在内存中（这样会更小、更快捷、应用关闭的时候就会销毁
但是缺点是不能持久化）这种方法适合于需要快速访问索引的时候，包括建立索引和搜索索引。

Analyer
IndexWriter不能索引文件除非它被分割成单个的词。
首先把文件的内容转变为有格式的形式。
它是一个抽象类，Lucene提供了一些实现方法。
分词器通过处理停词（不能作为区分文档的词，如a，the等）
把字符转为小写以便搜索的时候不区分大小写
一个合适的分词器能够对搜索的准确性提供很大帮助
Document
分词器需要一个包含独立字段的文档来索引
文档中有很多字段，这些字段都可以存放到索引中
Lucene只处理text格式的文档，
Feild
每个字段有若干个名称和其对应的值