搜索引擎-索引

正排索引：

文档编号，单词编号，单词的数量，单词出现的位置。

倒排索引：
1，单词词典，保存单词以及统计信息，单词在记录表中的便宜，可常驻内存，用哈希表存储。
2，记录表，单词对应的文档集合，记录单词出现的数目、位置。文档采用差分变长编码。
其中文档可按编号升序排列（可利用差分编码）、也可按出现次数排列，可以最快找到最优匹配文档、也可以分块存储，块内安装id升序排列，块间按照页面重要性排序。
可以通过两遍遍历文档来建立记录表。第一遍得到单词的df，idf等信息，可以得到单词倒排索引的空间大小。第二遍填充第一遍分配的空间。
两遍法耗费内存，可采用磁盘作为记录表的中间结果。内存不够用时，中间结果写入磁盘并和上一次的中间结果可按照归并排序合并。
会不断有新文档加入，需要不断更新索引。可维护3个索引：倒排索引（磁盘）、临时索引（内存）、删除文档列表（内存）。

增加文档，加入临时索引；删除文档，加入删除文档列表。

待到某个时间再合并索引。合并策略：1，完全重建；2，再合并策略，临时索引和老文档索引再合并；3，原地更新，在老索引后面直接追加。4，混合策略，不同单词采用不同策略。

分布式索引：1，局部倒排文件，按照文档编号划分；2，全局倒排文件，按照单词编号划分。
局部方法可靠性强，降低网络io；全局方法降低磁盘io。全局方法适合检索词均匀请求，性能很好。
常用倒排索引可以加入缓存。