海量索引数据的机群分布

 

文/腾讯soso 王志平

    索引数据的存储是搜索中很重要的一个环节，在数据量较小的情况下，如普通的中小网站，一般存在的文档数在千万级以下，这个时候，可以简单的实现搜索系统，将所有的索引数据存放在一台机器上。而网页搜索引擎需要索引的数据重量到了上百亿上千亿的级别。因此，需要成千上万台的机器来存放如此巨量的网页数据。那么如何将如此巨量的数据分布存放到这些机器上呢？

    较为简便直观的方法是每台机器上存放一定不相同的文档集合，每个机器对不重复的一部分网页文档建立索引。即按照文档分割的方式分布。按照文档分割的方式，分布规则有几种:

    1) 简单按照docid取模，比如有N台索引机器，则第i台机器处理的文档的集合为 dataset(i)={docid | docid%N=i}，这样处理的好处有几个:

    i. 数据分布均匀，海量的数据，取模基本可以保证每个机器上分布着数量相当，大小相当的网页文档索引。

    ii. docid定位方便，要查找一个docid的数据在那个机器上，简单取模即可定位。

    iii.定位方便带来的一个直接好处是文档数据更新方便，一个doc的数据始终在一个机器上，更新时标记删除上面旧的数据，索引保存新的数据即可。

    最大的缺点则是扩容麻烦，当总数据量超过N台机器的最大装载量，需要扩容到N+1台机器时，原来的数据分布被全部打散，数据在N+1台机器上需要全部重新分布。

    2) 针对取模分布方式扩容不方便的问题，引入了按照路由表分布。

    缩小数据集合的切分粒度，比如N台机器,存放的数据集是mN个.定义一张路由表，给出每个数据集存放在哪个机器上。当数据量增大时，数据集个数保持不变，而每个集合内的数据量增加。机器数从N增加到N+i, 则每个机器上存放的数据集个数减少，变为mN/(N+i)。这时，让之前的N台机器上各取出mi/(N+i)个数据集重新分布到新增的i台机器上。然后只需要重新定义一张新的路由表，建立一个新的路由关系。

    这样的好处是,扩容的时候，不需要对所有的数据做重新分布，只需要对需要变动的数据进行搬迁。一个要求是m需要取到一个合理的数值，使得N+i=系统设计的最大机器时,每个机器上仍然能够保存接近均匀数目的数据集。

    3) 按照时间划分，根据预期每天需要索引的数据量，计算出，每台机器能够承载的索引天数。第[iN,(i+1)N)天内的数据放到第i台机器上。这样处理的好处是扩容方便，直接增加新的机器用来存放新的索引，老的机器和数据不用动。缺点是docid定位不方面，没有明显的规则快速计算出一个doc存在在哪个机器上。

    4) 按照doc的类型来划分。

    数据的类型可以有多种定义：比如按照来源类型(新闻，博客，论坛...),按照数据的好坏(pr高低，是否重点网站)按照类型划分的好处是，可以根据检索请求，针对不同类型的数据做不同的检索处理。这种划分方式通常和其它的划分方式复用。

    5)按照索引项来划分。倒排索引的组织结构是一系列索引项到每个索引项存在的文档序列的映射。当数据量大到无法用单机来装载时，则可以按照索引项进行分割，不同的机器存放不同索引项的倒排列表。 索引项分割的方式也可以有多种

    i.简单按照索引项ID取模

    ii.按照索引项的访问频度；访问频度高的可以在多个机器上存放多套索引。

按照索引项来划分的缺点是，在检索时，如果一个检索串涉及到多个索引项的求交。而这多个索引项可能分布到多个不同的机器，则需要将这几个索引项的倒排数据传输到一个集中的机器上进行求交处理。这将增加系统的复杂性和检索耗时。

    6)混合划分部署

    现实应用中，往往不是简单的使用上面的一种划分，而是将多种划分混合使用。比如先按照时间来做一层划分，分离出时新性数据和非时新性数据。对非时新性数据再按照页面质量划分，按照数据类型划分，按照文档取模/路由划分，特定的数据会再按照索引项来划分。

    以上是各种常见对索引数据在多机上分布的方式。前些年google开发了gfs, bigtable等分布式系统，来通过进行数据的分布式存储管理，并提供自适应的多副本容灾容错，平台扩容等功能。国内外各大公司和开源组织也跟上开发类似的系统。其基本的原理也可以认为是采用了一种类似路由表的方式来对数据进行分布查找定位。当然，使用这样系统的好处是上层应用在某种程度上，不需要关心数据与底层具体硬件位置的关联了。

    欢迎大家一起探讨。