一致性哈希分片与取余分片扩容指南

一致性哈希分片与取余分片扩容指南

假设有10个分片节点，1000万的数据量，主键从100万开始自增。下面是分别以一致性哈希和取余分片的结果

• 一致性哈希分片

执行PartitionByMurmurHash的main方法，按上述假设会得到以下结果
index bucket ratio
0 1001836 0.1001836
1 1038892 0.1038892
2 927886 0.0927886
3 972728 0.0972728
4 1086100 0.10861
5 908616 0.0908616
6 1024269 0.1024269
7 1018029 0.1018029
8 995581 0.0995581
9 1026063 0.1026063
第一列是分片节点的编号，第二列是hash到每个节点的数据量，第三列是每个hash到每个节点的数据量与总数据量的比值。第三列的和是1.0，第十五列的和是10000000。
如果数据量相当少，会发现一致性哈希的分布不够均匀，而只要数据量在10000以上一致性哈希的分布比率就能保持在0.1左右，数据越多分布越均匀，每个节点的数据量越接近。

现在假设增加二个新节点，对0号节点执行rehash，会出现以下结果
index bucket ratio
0 853804 0.8522392886660092
1 0 0.0
2 0 0.0
3 0 0.0
4 0 0.0
5 0 0.0
6 0 0.0
7 0 0.0
8 0 0.0
9 0 0.0
10 70075 0.06994657808264028