Lucene基本知识入门

Lucene 篇

参考地址：《Lucene介绍与使用》

1. Lucene 简介

Lucene 是一套用于全文检索和搜寻的开源程序库，提供了一个简单却强大的 API，能够做全文索引和搜寻。在 Java 开发环境里，Lucene 是一个成熟的免费开放源代码工具，它并不是现成的搜索引擎产品，但可以用来制作搜索引擎产品。Solr 和 ElasticSearch 都是基于 Lucene 开发的企业级的搜索引擎产品。 Lucene 的 API 来实现对索引的增（创建索引）、删（删除索引）、改（修改索引）、查（搜索数据）。

2. 全文检索

计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时，检索程序就根据实现建立的索引进行查找，并将查找的结果反馈给用户的检索方式。总结起来，就是 Lucene 全文检索对文档中全部内容进行分词，然后对单词建立倒排索引的过程。

3. 创建索引

与关系数据库 Mysql 对比，Lucene 数据架构主要概念如下：

MySQL	Lucene
Database	Index
Table	Type
Row	Document
Column	Field
Schema	Mapping
Index	Everything is indexed
SQL	Query DSL

代码实现流程如下：

    // 创建索引
    @Test
    public void testCreate() throws Exception{
        //1 创建文档对象
        Document document = new Document();
        // 创建并添加字段信息。
        // 参数：字段的名称、字段的值、是否存储；
        // 这里选Store.YES代表存储到文档列表。Store.NO 代表不存储
        document.add(new StringField("id", "1", Field.Store.YES));
        // 这里我们 title 字段需要用 TextField，即创建索引又会被分词;
        // StringField 会创建索引，但是不会被分词
        document.add(new TextField("title", "谷歌地图之父跳槽facebook", 
                                   Field.Store.YES));

        //2 索引目录类,指定索引在硬盘中的位置
        Directory directory = FSDirectory.open(new File("d:\\indexDir"));
        //3 创建分词器对象
        Analyzer analyzer = new StandardAnalyzer();
        //4 索引写出工具的配置对象
        IndexWriterConfig conf = new IndexWriterConfig(Version.LATEST, analyzer);
        //5 创建索引的写出工具类。参数：索引的目录和配置信息
        IndexWriter indexWriter = new IndexWriter(directory, conf);

        //6 把文档交给IndexWriter
        indexWriter.addDocument(document);
        //7 提交
        indexWriter.commit();
        //8 关闭
        indexWriter.close();
    }

4. 创建索引的 API 详解

4.1 Document

文档对象 Document 对应数据库中的一行，是一条原始的数据；如下图所示；

4.2 Field

字段类 Field 对应数据库中的一列，有不同的数据类型。一个 Document 中可以有很多个不同的字段，每一个字段都是一个 Field 类的对象。由于一个 Document 中的字段的类型是不确定的，因此 Field 类就提供了各种不同的子类，来对应这些不同类型的字段。这些子类有一些不同的特性：

• DoubleField、FloatField、IntField、LongField、StringField、TextField：
  • 这些子类一定会被创建索引，但是不会被分词，而且不一定会被存储到文档列表。
  • 是否存储要通过构造函数中的参数 Store 来指定：如果Store.YES代表存储，Store.NO代表不存储；
• TextField：既创建索引，又会被分词；
  • 注：StringField 会创建索引，但不会被分词；如果不分词，会造成整个字段作为一个词条，除非用户完全匹配，否则搜索不到：
• StoreField：一定会被存储，但不一定会创建索引；
  • 注：StoredField 可以创建各种基础数据类型的字段；

注：相关问题：

• 问题1：如何确定一个字段是否需要存储？
  • 如果一个字段要显示到最终的结果中，那么一定要存储，否则就不存储。
• 问题2：如何确定一个字段是否需要创建索引？
  • 如果要根据这个字段进行搜索，那么这个字段就必须创建索引。
• 问题3：如何确定一个字段是否需要分词？
  • 前提是这个字段首先要创建索引；
  • 然后如果这个字段的值是不可分割的，那么就不需要分词。例如：ID；

4.3 Directory

目录类 Directory 指定索引要存储的位置。有两种主要类型：

• FSDirectory：文件系统目录，会把索引库指向本地磁盘；
  • 特点：速度略慢，但是整体比较安全；
• RAMDirecotry：内存目录，会把索引库保存在内存；
  • 特点：速度快，但是不安全；

4.4 Analyzer

分词器类 Analyzer 提供分词算法，可以把文档中的数据按照算法分词。通常官方的分词器并没有合适的中文分词器，所以一般会用到第三方提供的分词器。比如 IK 分词器。
IK 分词器的词库有限，新增加的词条可以通过配置文件添加到 IK 的词库中（即扩展词典），同时也可以把一些不用的词条（停止词典）去除。

4.5 IndexWriterConfig

索引写出器配置类 IndexWriterConfig，设定 Lucene 的版本与分词器类型，用来配置索引写出器。例如：

//3 创建分词器对象
Analyzer analyzer = new StandardAnalyzer();
//4 索引写出工具的配置对象
IndexWriterConfig conf = new IndexWriterConfig(Version.LATEST, analyzer);

4.6 IndexWriter

IndexWriter 索引写出器类，用来实现对索引的增删改，即创建索引、删除索引、修改索引。

5. 查询索引数据

代码实现如下：

    @Test
    public void testSearch() throws Exception {
        // 1. 创建索引目录对象
        Directory directory = FSDirectory.open(new File("d:\\indexDir"));
        // 2. 创建索引读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 3. 创建索引搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        // 4. 创建查询解析器
        // 两个参数：默认要查询的字段的名称，分词器
        QueryParser parser = new QueryParser("title", new IKAnalyzer());
        // 5. 创建查询对象
        Query query = parser.parse("谷歌");

        // 6. 搜索数据
        // 两个参数：查询条件对象，以及要查询的最大结果条数
        // 返回的结果按照匹配度排名得分前 N 名的文档信息（包含查询到的总条数信息、所有符合条件的文档的编号信息）。
        TopDocs topDocs = searcher.search(query, 10);
        
        // 获取总条数
        System.out.println("本次搜索共找到" + topDocs.totalHits + "条数据");
        // 获取得分文档对象（ScoreDoc）数组
        // ScoreDoc中包含：文档的编号、文档的得分
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 取出文档编号
            int docID = scoreDoc.doc;
            // 根据编号去找文档
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));
            System.out.println("title: " + doc.get("title"));
            // 取出文档得分
            System.out.println("得分： " + scoreDoc.score);
        }
    }

5.1 Query

Query 是查询对象，包含要查询的关键词信息；在上面的代码中，通过 QueryParser 解析关键字，得到查询对象。

5.2 高级查询

除了使用 QueryParser 解析之外，也可以通过自定义查询对象（高级查询），即通过 Query 的子类，直接创建查询对象，实现高级查询。实现高级查询的测试代码如下：

    // 传入 Query 对象，实现高级查询
    public void search(Query query) throws Exception {
        // 1. 创建索引目录对象
        Directory directory = FSDirectory.open(new File("indexDir"));
        // 2. 创建索引读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 3. 创建索引搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        // 4. 搜索数据
        // 两个参数：查询条件对象，以及要查询的最大结果条数
        // 返回的结果是按照匹配度排名得分前 N 名的文档信息（包含查询到的总条数信息、所有符合条件的文档的编号信息）。
        TopDocs topDocs = searcher.search(query, 10);
        // 5. 获取总条数
        System.out.println("本次搜索共找到" + topDocs.totalHits + "条数据");
        // 获取得分文档对象（ScoreDoc）数组.SocreDoc中包含：文档的编号、文档的得分
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;

        for (ScoreDoc scoreDoc : scoreDocs) {
            // 取出文档编号
            int docID = scoreDoc.doc;
            // 根据编号去找文档
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));
            System.out.println("title: " + doc.get("title"));
            // 取出文档得分
            System.out.println("得分： " + scoreDoc.score);
        }
    }

5.2.1 TermQuery

TermQuery 词条查询，词条 Term 是搜索的最小单位，不可以再被分词，而且值必须是字符串。

    @Test
    public void testTermQuery() throws Exception {
        // 创建词条查询对象
        Query query = new TermQuery(new Term("title", "谷歌地图"));
        search(query);
    }

5.2.2 WildcardQuery

WildcardQuery 通配符查询，类似于用数据库中 like ‘%谷歌%’ 的通配符用法。

• ? 字符可以代表任意一个字符；
• * 字符可以代表任意多个任意字符；

    @Test
    public void testWildCardQuery() throws Exception {
        // 创建查询对象
        Query query = new WildcardQuery(new Term("title", "*歌*"));
        search(query);
    }

5.2.3 FuzzyQuery

FuzzyQuery 模糊查询， 允许用户输错，但是要求错误的最大编辑距离不能超过 2。编辑距离就是一个单词到另一个单词最少要修改的次数，比如 facebool --> facebook 需要编辑1次，编辑距离就是1。

    @Test
    public void testFuzzyQuery() throws Exception {
        // 创建模糊查询对象:允许用户输错。但是要求错误的最大编辑距离不能超过2
        // 编辑距离：一个单词到另一个单词最少要修改的次数 facebool --> facebook 需要编辑1次，编辑距离就是1
//    Query query = new FuzzyQuery(new Term("title","fscevool"));
        // 可以手动指定编辑距离，但是参数必须在0~2之间
        Query query = new FuzzyQuery(new Term("title","facevool"),1);
        search(query);
    }

5.2.4 NumericRangeQuery

数值范围查询 NumericRangeQuery 可以对非 String 类型的 ID 进行精确查找。

	@Test
	public void testNumericRangeQuery() throws Exception{
		// 数值范围查询对象
		// 参数：字段名称，最小值、最大值、是否包含最小值、是否包含最大值
		Query query = NumericRangeQuery.newLongRange("id", 2L, 2L, true, true);
		search(query);
	}

6. 全文检索

参考地址：《全文检索原理及实现方式》

6.1 全文检索简介

我们生活中的数据总体分为两种：结构化数据和非结构化数据。其中结构化数据指具有固定格式或有限长度的数据，如数据库，元数据等。非结构化数据指不定长或无固定格式的数据，如邮件，word 文档等。
对于非结构化数据（即对全文数据）进行搜索主要有两种方法。一是顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。当然这是一种特别慢的搜索方法。
另外一种方法就是全文检索。全文检索的思路类似于数据库的索引，它将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的，然后重新组织的信息，我们称之索引。
比如字典，字典的拼音表和部首检字表就相当于字典的索引，对每一个字的解释是非结构化的，如果字典没有音节表和部首检字表，在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理，比如读音，就比较结构化，分声母和韵母，分别只有几种可以一一列举，于是将读音拿出来按一定的顺序排列，每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音，然后按其指向的页数，便可找到我们的非结构化数据——也即对字的解释。这种先建立索引，再对索引进行搜索的过程就叫**全文检索 (Full-text Search) **。

全文检索大体分两个过程，索引创建 (Indexing) 和搜索索引 (Search)。

• 索引创建：将现实世界中所有的结构化和非结构化数据提取信息，创建索引的过程。
  1. 有一系列待索引文件；
  2. 被索引文件经过语法分析和语言处理形成一系列词 (Term) 。
  3. 经过索引创建形成词典和反向索引表。
  4. 通过索引存储，将索引写入硬盘。
• 搜索索引：得到用户的查询请求，搜索创建的索引，然后返回结果的过程。
  1. 用户输入查询语句。
  2. 对查询语句经过语法分析和语言分析，得到一系列词(Term) 。
  3. 通过语法分析，得到一个查询树；
  4. 通过索引存储，将索引读入到内存。
  5. 利用查询树搜索索引，从而得到每个词 (Term) 的文档链表；根据查询树逻辑运算，对文档链表进行交集、差集、非运算，并得到结果文档。
  6. 将搜索到的结果文档进行查询的相关性排序。
  7. 返回查询结果给用户。

6.2 索引创建

非结构化数据中所存储的信息是每个文件包含哪些字符串，也即已知文件，欲求字符串相对容易，也即是从文件到字符串的映射。而我们想搜索的信息是哪些文件包含此字符串，即已知字符串，欲求文件，也就是从字符串到文件的映射。两者恰恰相反。于是如果索引总能够保存从字符串到文件的映射，则会大大提高搜索速度。

6.2.1 索引创建简述

假设我的文档集合里面有100篇文档，为了方便表示，我们为文档编号从1到100，得到下面的结构：

左边保存的是一系列字符串，称为词典；右面表示每个字符串都指向包含此字符串的文档 (Document) 链表，此文档链表称为倒排表 (Posting List)。
有了索引，便使保存的信息和要搜索的信息一致，可以大大加快搜索的速度。

注：比如说，我们要寻找既包含字符串“lucene”又包含字符串“solr”的文档，我们只需要以下几步：

1. 取出包含字符串“lucene”的文档链表。
2. 取出包含字符串“solr”的文档链表。
3. 通过合并链表，找出既包含“lucene”又包含“solr”的文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oPMFyyvK-1594915230287)(./pic/全文检索_并集.jpg)]

顺序扫描是每次都要扫描，而创建索引的过程仅仅需要一次，以后便是一劳永逸的了，每次搜索，创建索引的过程不必经过，仅仅搜索创建好的索引就可以了。这也是全文搜索相对于顺序扫描的优势之一：一次索引，多次使用。

6.2.2 索引创建原理

创建原理在文章《全文检索原理及实现方式》有详细的说明，这里只进行总结。

1. 准备一些要索引的原文档 (Document)；例如有文档：
   • 文档 1：Students should be allowed to go out with their friends, but not allowed to drink beer；
   • 文档 2：My friend Jerry went to school to see his students but found them drunk which is not allowed.
2. 文档分词：做分词、去除标点符号、去除无效词 (a, the, this) 等，获得词元；
3. 词元处理：如变为小写、去除复数、转为一般现在时等操作；
4. 构建索引：将处理后的词元传给索引组件，创建得到一个字典。按照字母顺序排序后，可以得到每个词元在每个文档中出现的频率。将每个词信息合并，并按照频率倒序排序，可以得到倒排链表。
   • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IUIDhhfy-1594915230290)(./pic/全文检索_倒排表.jpg)]
   • 文档频次 (Document Frequency)：总共有多少文件包含此词 (Term)。
   • 词频率 (Frequency)：文件中包含了几个此词 (Term)。

6.3 搜索索引

问题：如何像 Google 一样在成千上万的搜索结果中，找到和查询语句最相关的呢？如何判断搜索出的文档和查询语句的相关性呢？

6.3.1 输入查询语句

查询语句也是有一定语法的，比如最基本的 AND, OR, NOT 等。

6.3.2 查询语句构建语法树

1. 词法分析：识别单词和关键字；比如提取查询语句的 AND, NOT 等；
2. 语法分析：形成语法树；
3. 语言处理：同词元处理；

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ss8iDcGY-1594915230292)(./pic/全文检索_构成语法树.jpg)]

6.3.3 搜索索引

按照语法树，对索引进行搜索。类似于 6.2.1 的过程。

6.3.4 计算相关性排序

计算文档和查询语句的相关性，我们可以把查询语句看作一片短小的文档，对文档与文档之间的相关性 (relevance) 进行打分 (scoring)，分数高的相关性好，排在前面。
文档由很多词组成，找出词对文档重要性的过程，又称为计算词的权重 (Term weight)。影响一个词在一片文档中重要性的关键因素：

1. Term Frequency (tf)：某个词在某篇文档中出现的次数；TF 值越大，说明该词越重要；
   • 可以理解为：一个词在某篇文档中出现的次数很多，说明该文档就是讲这方面的问题的；所以说明这个词在这篇文章很重要。
2. Document Frequency (df)：所有文档中，某个词在多少文档中出现过；DF 值越大，说明该词越不重要；
   • 例如：this 在很多文档中出现，但它并不重要。

判断 Term 之间关系从而得到文档相关性的过程，就是向量空间模型算法。该算法把文档看作一系列词 (Term)，每一个词 (Term) 都有一个权重 (Term weight)。不同的词 (Term) 根据自己在文档中的权重来影响文档相关性的打分计算。计算方法在前面所述的文档中可以计算。

比如计算一个共有 11 个词的查询语句，共有三篇文档搜索出来，首先计算所有词的权重，然后根据打分公式分别计算查询语句与三篇文档的相关性。最后按照相关性进行排序，即可得到最想要的文档。