倒排索引基础

1.单词-文档矩阵

       通常检索的场景是:给定几个关键词,找出包含关键词的文档。
      怎么快速找到包含某个关键词的文档就成为搜索的关键。这里我们借助单词-文档矩阵模型,通过这个模型我们可以很方便知道某篇文档包含哪些单词,某个单词被哪些文档所包含。

       搜索引擎的索引其实就是实现单词-文档矩阵的具体数据结构,具体可以包括:倒排索引、签名文件、后缀树等。常见的当然就是倒排索引了,lucene也是基于倒排索引实现的。

2.倒排索引

2.1.倒排索引的组成

          倒排索引通常有词汇表和记录表组成。
       词汇表:文档集合中所包含的不同单词的集合。
       记录表:对于词汇表中的每一个单词,包含这个单词的文档编号构成的一个列表(有可能还会保存些其他信息,例如单词在文档中的位置信息)。

2.2.使用倒排索引(检索)

          这样的结构怎么用于检索?
         通常我们将词汇表和记录表分开存储,词汇表文件中包含每个单词指向记录表文件的指针。先在词汇表中找到需要检索的单词,然后取出对应的记录表。如果查询中只有一个单词,取出记录表即可,如果查询中包含多个单词,取出多个记录表还需要做合并(交集或者并集)。
          死做结果肯定可以出来,但是这里效率必须强调。怎么快速的找到单词然后获取记录表内容呢?如果你的词表不是很大(主存可以容纳得下),那么排序数组、b树、trie树、散列都是可选的数据结构,散列速度肯定毋庸置疑,b树、trie树可以处理前缀查询和范围查询。lucene中不考虑将整个词表存入主存,他的词表文件分成两个,类似两层跳跃表,中间采用二分查找。

2.3.建立索引

一般分成三种方式:

2.3.1.两遍文档遍历方法(2-Pass In-Memory Inversion)

         这种方式完全是依赖内存的。第一遍扫描所有文档,计算每个单词的tf,然后计算所有单词tf的总和,这个总和值直接关系到最终索引所需的内存大小。在内存中,建立有序数组用来存储单词,建立一块连续的存储空间(由tf总和控制)用来存储倒排索引,并且每个单词通过“指针”指向其对应的倒排列表其实位置。第二遍扫描就是建立每个单词的倒排列表信息。当所有文档扫面结束后,再以某种方式存储起来。
        这种方式的缺点是:1)两遍扫描,效率低下;2)完全依赖内存,对规模大点的文档集无能为力;3)不支持动态更新索引。

2.3.2.排序法(Sort-based Inversion)

        为了解决两遍文档遍历方法的缺陷,排序法只在内存中开辟固定大小的空间用来建立索引,当空间消耗光时将其写入磁盘,然后清空内存空间对其他文档进行索引,直至索引完全部文档。排序法将单词全部存储在内存中,并且不停收集倒排项(倒排项包括:单词id,文档id,单词频率等信息),当空间消耗光时,对所有的倒排项按照单词id、文档id进行排序,排序好后将其写入临时文件。此时清空倒排项所占用的内存空间,然后重复上述工作。注意单词id是事先排好序的。在一开始,我们不会将全部的单词加载进入内存,是在遍历的过程中文档中出现了才加入内存。因此随着遍历,单词所占用的空间越来越大,倒排项所占用的空间越来越小,也就是说越到后面一次遍历的文档数量就越少,临时文件也就越小。
       当遍历完整个文档集后,我们便得到了一堆的临时文件(存储了倒排项),接下来就要将这些文件进行“整合”。由于这些倒排项都排好序了,因此这个工作相对简单,就是将同一个单词的倒排项进行合并。

2.3.3.归并法(Merge-based Inversion)

        排序法最致命的一个问题就是将全部单词放到内存里,如果单词量特别大,以至于内存放不下那就望尘莫及了!归并法可以很好的解决这个问题,归并法也在内存中开辟一块固定大小的空间,对于一篇文档就将其转换成标准的内存倒排索引结构,假设在内存空间的限制下,将n篇文档建立好了单独的内存倒排索引结构,然后进行合并形成一个索引段,写入磁盘,清空内存。这里的内存索引、索引段只是在文档数量规模上有所区别,结构上完全一致。在这个过程中同样需要对单词进行排序,方便后期的合并。
        当遍历完整个文档集合后,我们同样得到了一堆临时文件(索引段),和排序法类似,我们将同一单词的倒排列表进行合并即可。
        lucene采用的就是这种方式。

2.4.动态索引

       索引建立完成后,如果后期不需要对其进行调整(增、删),那么称之为静态索引,反之为动态索引。
       动态索引又将牵涉到实时索引(实时检索)等问题,这里不展开描述实时的问题。
       动态索引包含三个部分:磁盘索引文件、内存临时索引、已删除文档列表。
       内存临时索引和归并法中的内存索引一个意思,将新加的文档临时放在内存中。以删除文档列表记录删除文档的id。检索时同时查询磁盘索引文件和内存临时索引,然后通过已删除文档列表进行过滤。当内存临时索引达到一定阈值时将其合并到磁盘索引文件。

2.5.索引更新策略

     索引更新主要包括完全重新更新(Complete Re-build)和增量更新(再合并策略Re-Merge、原地更新策略In-Place)。lucene中使用的是Re-Merge策略。


重点:
1.词汇表的存储和查询(数据结构)
排序数组、b树、trie树、散列



转自:http://www.cnblogs.com/huangfox/archive/2012/07/18/2597603.html

你可能感兴趣的:(文本挖掘)