Beta笔记——搜索引擎的设计与实现（1）：使用Lucene.Net建立索引与中文分词

回寝室前花几分钟的时间写一下我目前对学霸搜索引擎的构建工具：Lucene.Net与盘古分词的使用.

1. 简介

　　Lucene.Net是优秀的Java平台下的开源搜索引擎解决方案Lucene的.Net版本，在学霸项目中，我们使用的是2.9.2版本。

　　盘古分词是开源的中文分词软件，分词速度快，支持自定义词典与停词设置，能够与Lucene.Net做到无缝整合，学霸中使用的是最新的2.3.3版本。

2. Lucene.Net HelloWorld

　　在测试过程中，我尝试了Lucene的多个不同版本，让我不能理解的是，不同版本的Lucene的各个操作语法出入很大，而且不同版本的索引不能够共享。下面以2.9.2版本为例，最新3.0.3版本与之有很大出入，之所以不用最新版，是为了配合盘古分词。

　　首先给出一些入门的资源：

1. How to get started with Lucene.Net
2. The Main Concepts
3. Your First Application
4. Dissecting Storage Documents and Fields
5. Lucene - or how I stopped worrying and learned to love unstructured data
6. How Subtext Lucene.Net index is structured

 　　2.1 建立索引目录

　　在向Lucene.Net灌入数据之前，首先需要设置索引的存放路径，Lucene.Net支持磁盘索引与内存索引，这里以磁盘索引为例：

Directory directory = FSDirectory.GetDirectory("LuceneIndex");

　　2.2 建立分析器

　　分析器用来对数据进行分词，便于后续建立倒排索引。

Analyzer analyzer = new StandardAnalyzer();

　　2.3 建立IndexWriter

　　IndexWriter用来将Document写入索引文件，并建立好倒排索引

IndexWriter writer = new IndexWriter(directory, analyzer); 

//添加索引的方法

addDocs(writer);


writer.Optimize();

writer.Commit();

writer.Close();

　　其中addDocs(writer)的方法代码为:

            List<Question> qlist = new QuestionManager().GetQuestions(1);

            foreach (Question q in qlist)

            {

                Lucene.Net.Documents.Document doc = new Lucene.Net.Documents.Document();

                doc.Add(new Field("qid", q.Id.ToString(), Field.Store.YES, Field.Index.NO));

                // doc.Add(new Field("tags",q.Tags))

                doc.Add(new Field("title", q.Title, Field.Store.YES, Field.Index.ANALYZED));

                doc.Add(new Field("content", q.Content, Field.Store.YES, Field.Index.ANALYZED));

                doc.Add(new Field("created", q.PostDateTime.ToShortDateString(), Field.Store.NO, Field.Index.NOT_ANALYZED));

                doc.Add(new Field("repiles", q.Replies.ToString(), Field.Store.NO, Field.Index.NOT_ANALYZED));

                doc.Add(new Field("views", q.Views.ToString(), Field.Store.NO, Field.Index.NOT_ANALYZED));

                writer.AddDocument(doc);

            }

　　2.4 搜索

　　索引建立好啦，下面开始搜索，首先初始化Searcher，使用QueryParser对QueryString进行分析处理，然后提交Searcher对象，返回的结果保存在Hits中

IndexSearcher searcher = new IndexSearcher(directory,false);

QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "title", new PanGuAnalyzer(true));

//Supply conditions

string keys = "flash C++";

keys = GetKeyWordsSplitBySpace(keys, new PanGuTokenizer());

Query query = parser.Parse(keys);



//Do the search

Hits hits = searcher.Search(query);

ScoreDoc[] result = searcher.Search(query, null, 100).scoreDocs;

for (int i = 0; i < result.Length; i++)

     Console.WriteLine(searcher.Doc(result[i].doc).Get("title"));

　　最后不要忘记关闭资源

analyzer.Close();

writer.Close();

directory.Close();

3. 整合盘古分词

　　在测试时，我发现使用官方编译的版本整合进Lucene.Net中，无法得到搜索结果，官方blog中对问题进行了说明（http://www.cnblogs.com/eaglet/archive/2010/05/12/1733581.html#2529278），但是，我发现使用官方编译版本依旧无法得到搜索结果，无奈只能下载源码自行编译最新的2.3.3版本。

　　整合过程比较简单，将StandardAnalyzer替换为PanGuAnalyzer即可。

 PanGu.Segment.Init();             Directory directory = FSDirectory.GetDirectory("LuceneIndex");

            //Analyzer analyzer = new StandardAnalyzer();

            Analyzer analyzer =new PanGuAnalyzer();             IndexWriter writer = new IndexWriter(directory, analyzer); 



            //addDocs(writer);

            writer.Optimize();

            writer.Commit();

            writer.Close();



            IndexSearcher searcher = new IndexSearcher(directory,false);

            //QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29,"title", analyzer);

            QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "title", new PanGuAnalyzer(true));

            //Supply conditions

            string keys = "flash C++";

            keys = GetKeyWordsSplitBySpace(keys, new PanGuTokenizer());

            Query query = parser.Parse(keys);



            //Do the search

            Hits hits = searcher.Search(query);

            ScoreDoc[] result = searcher.Search(query, null, 100).scoreDocs;

            for (int i = 0; i < result.Length; i++)

                Console.WriteLine(searcher.Doc(result[i].doc).Get("title"));



            analyzer.Close();

            writer.Close();

            directory.Close();