lucene&solr全文检索_2介绍及索引的创建

可以去官网去查看lucene和solr：http://lucene.apache.org/

Lucene是基础，solr是封装Lucene的框架。

 

 

 

 

 

可以发现Lucene的变更速度非常的快，从而可以看出使用的人非常的多，使用率非常高。

 

索引和搜索的流程：

 

 绿色为索引创建过程：对要搜索的原始内容进行索引创建一个索引库，过程包括：确定原始内容 采集文档 创建文档 分析文档 索引文档

红色为搜索过程:从索引库中搜索内容，过程包括：用户通过搜索界面->创建查询->执行搜索->渲染搜索结果

下面对名词进行解释：

原始文档就是开始的文档如：

 

 获取文档：io流来读取到内存中

构建文档对象：创建文档对象存储原始文档

分析文档：对文档对象进行分析操作

创建索引：将分析的结果放到索引库中 包括两部分，原始文档和索引

索引库由两部分组成：索引和原始文档

用户查询接口：即我们搜索的接口如：

 

 

 

 

创建查询：点击百度一下

执行查询：向引库中查询
渲染结果：将查询结构渲染在接口中如：

 

 

具体步骤：

　　1.获得原始文档：原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。

 

从互联网上、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，信息采集的目的是为了对原始内容进行索引。

 

在Internet上采集信息的软件通常称为爬虫或蜘蛛，也称为网络机器人，爬虫访问互联网上的每一个网页，将获取到的网页内容存储起来。

 

Lucene不提供信息采集的类库，需要自己编写一个爬虫程序实现信息采集，也可以通过一些开源软件实现信息采集，如下：

 

Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。

 

jsoup（http://jsoup.org/ ），jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

 

heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

 

　　2.创建文档对象

获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（Document），文档中包括一个一个的域（Field），域中存储内容。

这里我们可以将磁盘上的一个文件当成一个document，Document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容）如下图：

 

 

 

 注意：

每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同）

 

每个文档都有一个唯一的编号，就是文档id。

 

3.分析文档、

将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。

 

 

比如下边的文档经过分析如下：

 

原文档内容：

 

Lucene is a Java full-text search engine.  Lucene is not a complete

 

application, but rather a code library and API that can easily be used

 

to add search capabilities to applications.

 

 

 

分析后得到的语汇单元：

 

lucene、java、full、search、engine等

 

 

 

每个单词叫做一个Term，不同的域中拆分出来的相同的单词是不同的term。term中包含两部分一部分是文档的域名，另一部分是单词的内容。

 

例如：文件名中包含apache和文件内容中包含的apache是不同的term。

 

 

4.创建索引

 

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。

 

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

 

传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。

 

倒排索引结构是根据内容（词语）找文档，如下图：

 

 

需要导入一下jar包：

 

 

 

 

 代码实现：

package come.me.lucene;

import java.io.File;

import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.StoredField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.jupiter.api.Test;

public class FirstLucene {

    @Test
    public void test() throws Exception{
        // TODO Auto-generated method stub
        //创建索引
//        第一步：创建一个java工程，并导入jar包。
//        第二步：创建一个indexwriter对象。
//        1）指定索引库的存放位置Directory对象
//        2）指定一个分析器，对文档内容进行分析。
        Directory directory =FSDirectory.open(new File("D:\\temp\\index"));//创建document对象
        Analyzer analyzer=new StandardAnalyzer();//官方推荐标准分析器
        IndexWriterConfig config=new IndexWriterConfig(Version.LUCENE_4_10_3, analyzer);//第一个变量为用的lucene版本号，第二个为分析器对象
        IndexWriter indexwriter =new IndexWriter(directory,config);

//        第三步：创建field对象，将field添加到document对象中。
        File f=new File("C:\\Users\\lenovo\\Desktop\\searchsource\\searchsource");
        File[] listFiles = f.listFiles();
        for(File file: listFiles) {//遍历文件
            //由于对文件的某些属性不需要分析例如大小路径，所以field有很多个实现类，可以选择是否储存，是否分析，是否索引
//        第四步：创建document对象。
            Document document =new Document();
//            文件名字
            String file_name = file.getName();
            Field fileNameField=new TextField("fileName", file_name, Store.YES);
//            文件大小
            long file_size = FileUtils.sizeOf(file);//使用文件工具类获取文件大小
            Field fileSizeFiled=new LongField("fileSize", file_size, Store.YES);
//            文件路径
            String file_path = file.getPath();
            Field filePathField=new StoredField("filePath", file_path);
//            文件内容
            String file_content = FileUtils.readFileToString(file);//使用文件工具类获取文件内容
            Field fileContentField =new TextField("fileContent", file_content, Store.YES);
            document.add(fileNameField);
            document.add(fileSizeFiled);
            document.add(filePathField);
            document.add(fileContentField);
//        第五步：使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。
            indexwriter.addDocument(document);

            
        }
//        第六步：关闭IndexWriter对象。
        indexwriter.close();

        
    }
    
    
    


}

注意field类有四个子类，具体信息如下图：

 

 打开我们储存索引的位置，发现多了一下几个文件，但是不能打开。

 

 用luke可以打开，先设置储存索引的目录，然后点击ok显示如下界面。

 

 可以发现路径，4个域，15个文件，9626个term，具体信息如下图

 

 也可以点击ducument查看每个文件的内容。

 

 至此索引创建完成。