一致性哈希与python实现

使用场景


问题:假设我们有 5 台 MySQL 服务器,然后对数据库进行水平拆分。应该怎么做?

最简单的做法是利用哈希,也就是对于插入表中的数据,我们对记录的 id 进行哈希映射到 0~4 的区间,然后根据哈希结果保存到对应的 MySQL 服务器中。

这个方案乍一看问题不大,但是,在不考虑冗余备份的情况下,我们考虑一下如果其中一台数据库宕机了,我们的数据就会因为这种哈希算法而乱掉,我们就需要定义新的哈希算法,将哈希映射到 0~3 的区间上,然后再对 所有的数据 进行重新分配,这对于分布式存储来说是很严重的问题。

那针对这个问题,我们当然是不希望重新分配 所有的数据 ,我们期望的是重新分配的数据只是宕机的那台机器上的数据就好,而且我们的存储和获取逻辑还不需要更换,这就是一致性哈希的常见应用场景。接下来我们看下一致性哈希是如何设计的。

一致性哈希


简化来讲,我们可以认为 一致性哈希比普通哈希表多做了一次哈希,也就是不仅仅数据做哈希机器也做哈希

按照常用的hash算法来将对应的key哈希到一个具有2^32次方个桶的空间中,即0~(2^32)-1的数字空间中。现在我们可以将这些数字头尾相连,想象成一个闭合的环形。

第一步:把数据通过一定的hash算法处理后映射到环上
现在我们将object1、object2、object3、object4四个对象通过特定的Hash函数计算出对应的key值,然后散列到Hash环上。
    Hash(object1) = key1;
    Hash(object2) = key2;
    Hash(object3) = key3;
    Hash(object4) = key4;                                           
第二步:将机器通过hash算法映射到环上
在采用一致性哈希算法的分布式集群中将新的机器加入,其原理是通过使用与对象存储一样的Hash算法将机器也映射到环中(一般情况下对机器的hash计算是采用机器的IP或者机器唯一的别名作为输入值),然后以顺时针的方向计算,将所有对象存储到离自己最近的机器中。假设现在有NODE1,NODE2,NODE3三台机器,通过Hash算法得到对应的KEY值,映射到环中,其示意图如下:
Hash(NODE1) = KEY1;
Hash(NODE2) = KEY2;
Hash(NODE3) = KEY3;

 

                                                                            
                                                             
通过上图可以看出对象与机器处于同一哈希空间中,这样按顺时针转动object1存储到了NODE1中,object3存储到了NODE2中,object2、object4存储到了NODE3中。在这样的部署环境中,hash环是不会变更的,因此,通过算出对象的hash值就能快速的定位到对应的机器中,这样就能找到对象真正的存储位置了。

这样在当一台服务器退出之后,或者有新的服务器加入进来之后,只会影响一部分的key的哈希分布,不至于导致所有的key的哈希分布都失效。 以上面的分布为例,如果NODE2出现故障被删除了,那么按照顺时针迁移的方法,object3将会被迁移到NODE3中,这样仅仅是object3的映射位置发生了变化,其它的对象没有任何的改动。如果往集群中添加一个新的节点NODE4,通过对应的哈希算法得到KEY4,并映射到环中,通过按顺时针迁移的规则,那么object2被迁移到了NODE4中,其它对象还保持这原有的存储位置。综上所述,一致性哈希算法在保持了单调性的同时,还是数据的迁移达到了最小,这样的算法对分布式集群来说是非常合适的,避免了大量数据迁移,减小了服务器的的压力。

如果服务器比较少的情况下,一般都会引入虚拟节点的概念。

虚拟节点

如上面只部署了NODE1和NODE3的情况(NODE2被删除的图),object1存储到了NODE1中,而object2、object3、object4都存储到了NODE3中,这样就照成了非常不平衡的状态。在一致性哈希算法中,为了尽可能的满足平衡性,其引入了虚拟节点。
  “虚拟节点”( virtual node )是实际节点(机器)在 hash 空间的复制品( replica ),一实际个节点(机器)对应了若干个“虚拟节点”,这个对应个数也成为“复制个数”,“虚拟节点”在 hash 空间中以hash值排列。
 

主要思想: 


  1. 把机器按照某种hash算法(比如MD5)计算得到机器的hashcode值。
  2. 对于存储的数据,根据数据的key,使用与机器相同的hash算法获取到相应的hashcode值,然后将key写入到顺时针最近的机器。 
  3. 可以是hashcode(key) <= hashcode(machine)的机器。
  4. 当有新机器加入时,只需要把新加入机器影响到的数据进行重新分配;当删除机器时,只需要把被删除机器的数据重新分配一下,这样可以减小数据的迁移代价。
  5. 为了维持平衡性,防止雪崩效应,使用虚拟节点代替真实机器,一个真实机器对应多个虚拟节点,这样可以保证数据的分布均衡

python实现


参考网上的实现:https://blog.csdn.net/fjslovejhl/article/details/40831925

# -*- coding: utf-8 -*-
import hashlib
 
class YHash(object):
    def __init__(self, nodes=None, n_number=3):
        """
        :param nodes:           所有的节点
        :param n_number:        一个节点对应多少个虚拟节点
        :return:
        """
        self._n_number = n_number   #每一个节点对应多少个虚拟节点,这里默认是3个
        self._node_dict = dict()    #用于将虚拟节点的hash值与node的对应关系
        self._sort_list = []        #用于存放所有的虚拟节点的hash值,这里需要保持排序
        if nodes:
            for node in nodes:
                self.add_node(node)
 
    def add_node(self, node):
        """
        添加node,首先要根据虚拟节点的数目,创建所有的虚拟节点,并将其与对应的node对应起来
        当然还需要将虚拟节点的hash值放到排序的里面
        这里在添加了节点之后,需要保持虚拟节点hash值的顺序
        :param node:
        :return:
        """
        for i in xrange(self._n_number):
            node_str = "%s%s" % (node, i)
            key = self._gen_key(node_str)
            self._node_dict[key] = node
            self._sort_list.append(key)
        self._sort_list.sort()
 
    def remove_node(self, node):
        """
        这里一个节点的退出,需要将这个节点的所有的虚拟节点都删除
        :param node:
        :return:
        """
        for i in xrange(self._n_number):
            node_str = "%s%s" % (node, i)
            key = self._gen_key(node_str)
            del self._node_dict[key]
            self._sort_list.remove(key)
 
    def get_node(self, key_str):
        """
        返回这个字符串应该对应的node,这里先求出字符串的hash值,然后找到第一个小于等于的虚拟节点,然后返回node
        如果hash值大于所有的节点,那么用第一个虚拟节点
        :param :
        :return:
        """
        if self._sort_list:
            key = self._gen_key(key_str)
            for node_key in self._sort_list:
                if key <= node_key:
                    return self._node_dict[node_key]
            return self._node_dict[self._sort_list[0]]
        else:
            return None
 
    @staticmethod
    def _gen_key(key_str):
        """
        通过key,返回当前key的hash值,这里采用md5
        :param key:
        :return:
        """
        md5_str = hashlib.md5(key_str).hexdigest()
        return long(md5_str, 16)
 
 
fjs = YHash(["127.0.0.1", "192.168.1.1"])
print fjs.get_node("fjs32121")

 

你可能感兴趣的:(python,算法)