特殊索引类型

  1. 位图索引
    • 也称bitmap索引。该索引主要针对DF(文档频率)非常高的term,比如“的”(如果它不是一个停用词的话)。它用一个位来表示是否在某个文档中出现,因此,对于总文档数为N的索引库,每个term对应的索引大小为N/8
  2. 差分索引
    • 普通索引中,文档ID使用u_int表示。对于索引比较长的term,其连续两个文档ID之间的差通常比较小,因此可以采用记录差值来代替记录ID,并且使用特定的编码(比如huffman编码)使得小数字占用更少的位。以此来减少索引的大小
  3. 压缩索引
    • 压缩索引通常针对于索引较长的term,它将其中次要的一些信息剔除,仅保留文档ID。这些信息可能包括文档相关的、用于过滤或类聚的属性(比如文档签名),这些信息通常可以存放在另外一个单一的结构中,减少信息重复。offset信息也可以被剔除。
    • 截断索引
      • 在使用offset等信息的索引中,索引会比较大,而位图、压缩索引中又丢失了这些信息,因此考虑考虑一个折中,保留一定长度的记录了这些信息的索引。保留的原则是选择当前可决定的权值较高的文档(比如TF较大)。这种索引称为截断索引。
    • 预索引
      • 对于一些静态数据的检索系统,可以将检索高频词预先检索一遍,得到结果并存储为新的索引文件,称为预索引。查询时如果命中,可以直接读取预索引的数据。这种索引从本质上将相当于基于硬盘的cache

     

你可能感兴趣的:(cache,存储,文档)