数据切分算法实践

数据切分其实有一个很巧妙的方法。 在memcached中用到了。  因为涉及到负载均衡等情况.所以有很大的优化.

其实完全是数学层面的东西。 但是比前一篇文章的三种切分方法都要好一些。  其实数据切分的最好算法是能够根据新加入的节点（由于性能不够而重新加入新节点）能够动态加入到水平切分的数据库集群之中，并且承载均衡的负载。
 

引用

Consistent Hashing

  Consistent Hashing 的简单说明:

      Consistent Hashing 如下所示:首先求出 memcached 服务器(节点)的哈希值,并将其配置到 0~2^32
    的圆(continuum)上。然后用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数
    据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过 2^32 仍然找不到
    服务器,就会保存到第一台 memcached 服务器上。

      Consistent Hashing 最大限度地抑制了键的重新分布。而且,有的 Consistent Hashing 的实现方
    法还采用了虚拟节点的思想。使用一般的 hash 函数的话,服务器的映射地点的分布非常不均匀。
    因此,使用虚拟节点的思想,为每个物理节点(服务器)在 continuum 上分配 100~200 个点。这样
    就能抑制分布不均匀,最大限度地减小服务器增减时的缓存重新分布。

    可以把 memcached的缓存. 当成数据做类似处理.

通过Consistent Hashing的初步资源分配.

增加节点后的重新分配.

  可以看出来影响是非常之小的.  这就体现了这种资源分配的优势所在。