一致性哈希算法详解

1、使用哈希算法有什么问题？

假设有一个由A、B、C三个节点组成的KV服务，每个节点存放不同的KV数据。通过哈希算法，每个key都可以寻址到对应的服务器，比如，查询key是key-01，计算公式为hash(key-01)%3，经过计算寻址到了编号为1的服务器节点A

但如果服务器数量发生变化，基于新的服务器数量来执行哈希算法的时候，就会出现路由寻址失败的情况，Proxy无法找到之前寻址到的那个服务器节点

假如3个节点不能满足业务需求了，这时增加了一个节点，节点的数量从3变化为4，那么之前的hash(key-01)%3=1就变成了hash(key-01)%4=X，因为取模运算发生了变化，所以这个X大概率不是1（假设是2），这时再查询就会找不到数据了，因为key-01对应的数据存储在节点A上

同样的道理，如果需要下线1个服务器节点也会存在类似的问题

而解决这个问题的办法，在于要迁移数据，基于新的计算公式hash(key-01)%4来重新对数据和节点做映射。数据的迁移成本是非常高的

2、如何使用一致性哈希实现哈希寻址？

1）、一致性哈希算法是什么

哈希算法是对节点的数量进行取模运算，而一致性哈希是对$2^{32}$进行取模运算。一致性哈希将整个哈希值空间组成一个虚拟的圆环，也就是哈希环：

哈希环的空间按照顺时针方向组织，圆环的正上方的点代表0，0点右侧的第一个点代表1，以此类推直到$2^{32}-1$，也就是说0点左侧的第一个点代表$2^{32}-1$

在一致性哈希中，通过执行哈希算法，将节点映射到哈希环上。假设哈希算法函数为c-hash()，比如选择节点的主机名作为参数执行c-hash()，每个节点就能确定其在哈希环上的位置：

当需要对指定key的值进行读写的时候，通过下面2步进行寻址：

1. 将key作为参数执行c-hash()计算哈希值，并确定此key在环上的位置
2. 从这个位置沿着哈希环顺时针行走，遇到的第一个节点就是key对应的节点

假设key-01、key-02、key-03三个key，经过哈希算法c-hash()计算后，在哈希环上的位置如下图：

根据一致性哈希算法，key-01将寻址到节点A，key-02将寻址到节点B，key-03将寻址到节点C

2）、一致性哈希算法如何避免哈希算法的问题

1）假设，现在节点C故障了：

可以看到，key-01和key-02不会受到影响，只有key-03的寻址被重定位到A。在一致性哈希算法中，如果某个节点宕机不可用了，那么受影响的数据仅仅是会寻址到此节点和前一节点之间的数据。比如当节点C宕机了，受影响的数据是会寻址到节点B和节点C之间的数据（例如key-03），寻址到其他哈希环空间的数据不会受到影响

2）如果需要扩容一个节点：

可以看到，key-01、key-02不受影响，只有key-03的寻址被重定位到新节点D。在一致性哈希算法中，如果增加一个节点，受影响的数据仅仅是会寻址到新节点和前一节点之间的数据

使用了一致哈希算法后，扩容或缩容的时候，都只需要重定位环空间中的一小部分数据。也就是说，一致哈希算法具有较好的容错性和可扩展性

当节点数越多的时候，使用哈希算法时，需要迁移的数据就越多，使用一致哈希时，需要迁移的数据就越少

3）、节点太少分布不均匀

在一致性哈希算法中，如果节点太少，容易因为节点分布不均匀造成数据访问的冷热不均，也就是说大多数访问请求都会集中少量几个节点上：

上图中，虽然有3个节点，但访问请求主要集中在节点A上

通过引入虚拟节点解决分布不均匀的问题。对每一个服务器节点计算多个哈希值，每个计算结果位置上都放置一个虚拟节点，并将虚拟节点映射到实际节点。比如，可以在主机名后面增加编号，分别计算Node-A-01、Node-A-02、Node-B-01、Node-B-02、Node-C-01、Node-C-02的哈希值，于是形成6个虚拟节点

增加了节点后，节点在哈希环上的分布就相对均匀了。如果有访问请求寻址到Node-A-01这个虚拟节点，将被重定位到节点A

4）、思考题

Raft集群具有容错能力，能容忍少数的节点故障，那么在多个Raft集群组成的KV系统中，如何设计一致性哈希算法，实现当某个集群的领导者节点出现故障，并选举出新的领导者后，整个系统还能稳定运行呢？

相比值到节点的一级映射，可以做“值到集群，集群到领导者节点”的两级映射，通过Raft的节点故障容错能力，来避免数据迁移

3、一致性哈希代码实现

public class ConsistencyHashing {
    //虚拟节点个数
    private static final int VIRTUAL_NODE_NUM = 5;

    //虚拟节点分配,key是hash值,value是虚拟节点服务器名称
    private static SortedMap<Integer, String> virtualNodeMap = new TreeMap<>();

    //真实节点列表
    private static List<String> realNodes = new LinkedList<>();

    //模拟初始服务器
    private static String[] servers = {"192.168.1.1", "192.168.1.2", "192.168.1.3"};

    static {
        for (String server : servers) {
            addNode(server);
        }
    }

    /**
     * 获取被分配的节点名
     *
     * @param node
     * @return
     */
    public static String getServer(String node) {
        int hash = getHash(node);
        Integer key;
        SortedMap<Integer, String> subMap = virtualNodeMap.tailMap(hash);
        if (subMap.isEmpty()) {
            key = virtualNodeMap.lastKey();
        } else {
            key = subMap.firstKey();
        }
        String virtualNodeName = virtualNodeMap.get(key);
        return virtualNodeName.substring(0, virtualNodeName.indexOf("&&"));

    }

    /**
     * 添加节点
     *
     * @param node
     */
    public static void addNode(String node) {
        if (!realNodes.contains(node)) {
            realNodes.add(node);
            System.out.println("真实节点[" + node + "]上线添加");
            for (int i = 0; i < VIRTUAL_NODE_NUM; ++i) {
                String virtualNodeName = node + "&&virtualNode" + i;
                int hash = getHash(virtualNodeName);
                virtualNodeMap.put(hash, virtualNodeName);
                System.out.println("虚拟节点[" + virtualNodeName + "],hash:" + hash + "被添加");
            }
        }
    }

    /**
     * 删除节点
     *
     * @param node
     */
    public static void delNode(String node) {
        if (realNodes.contains(node)) {
            realNodes.remove(node);
            System.out.println("真实节点[" + node + "]下线移除");
            for (int i = 0; i < VIRTUAL_NODE_NUM; ++i) {
                String virtualNodeName = node + "&&virtualNode" + i;
                int hash = getHash(virtualNodeName);
                virtualNodeMap.remove(hash);
                System.out.println("虚拟节点[" + virtualNodeName + "],hash:" + hash + "被添加");
            }
        }
    }

    /**
     * FNV1_32_HASH算法
     *
     * @param str
     * @return
     */
    private static int getHash(String str) {
        final int p = 16777619;
        int hash = (int) 2166136261L;
        for (int i = 0; i < str.length(); i++)
            hash = (hash ^ str.charAt(i)) * p;
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;
        //如果算出来的值为负数则取其绝对值
        if (hash < 0) {
            hash = Math.abs(hash);
        }
        return hash;
    }

    public static void main(String[] args) {
        //模拟客户端的请求
        String[] clientNodes = {"127.0.0.1:8070", "127.0.0.1:8080", "127.0.0.1:8090"};
        for (String node : clientNodes) {
            System.out.println("[" + node + "]的hash值为" + getHash(node) + ",被路由到结点[" + getServer(node) + "]");
        }
        //添加一个节点
        addNode("192.168.1.4");
        //删除一个节点
        delNode("192.168.1.2");
        for (String node : clientNodes) {
            System.out.println("[" + node + "]的hash值为" + getHash(node) + ",被路由到结点[" + getServer(node) + "]");
        }
    }
}

运行结果：

真实节点[192.168.1.1]上线添加
虚拟节点[192.168.1.1&&virtualNode0],hash:1400904720被添加
虚拟节点[192.168.1.1&&virtualNode1],hash:470845112被添加
虚拟节点[192.168.1.1&&virtualNode2],hash:2106286201被添加
虚拟节点[192.168.1.1&&virtualNode3],hash:1806968680被添加
虚拟节点[192.168.1.1&&virtualNode4],hash:297496566被添加
真实节点[192.168.1.2]上线添加
虚拟节点[192.168.1.2&&virtualNode0],hash:206719230被添加
虚拟节点[192.168.1.2&&virtualNode1],hash:1684115164被添加
虚拟节点[192.168.1.2&&virtualNode2],hash:1285071933被添加
虚拟节点[192.168.1.2&&virtualNode3],hash:1092596195被添加
虚拟节点[192.168.1.2&&virtualNode4],hash:1587989184被添加
真实节点[192.168.1.3]上线添加
虚拟节点[192.168.1.3&&virtualNode0],hash:1462780580被添加
虚拟节点[192.168.1.3&&virtualNode1],hash:1268819376被添加
虚拟节点[192.168.1.3&&virtualNode2],hash:1915972426被添加
虚拟节点[192.168.1.3&&virtualNode3],hash:6542638被添加
虚拟节点[192.168.1.3&&virtualNode4],hash:10448546被添加
[127.0.0.1:8070]的hash值为955179062,被路由到结点[192.168.1.2]
[127.0.0.1:8080]的hash值为1617490351,被路由到结点[192.168.1.2]
[127.0.0.1:8090]的hash值为974175348,被路由到结点[192.168.1.2]
真实节点[192.168.1.4]上线添加
虚拟节点[192.168.1.4&&virtualNode0],hash:642806105被添加
虚拟节点[192.168.1.4&&virtualNode1],hash:1607218053被添加
虚拟节点[192.168.1.4&&virtualNode2],hash:243578222被添加
虚拟节点[192.168.1.4&&virtualNode3],hash:1684401774被添加
虚拟节点[192.168.1.4&&virtualNode4],hash:603941674被添加
真实节点[192.168.1.2]下线移除
虚拟节点[192.168.1.2&&virtualNode0],hash:206719230被添加
虚拟节点[192.168.1.2&&virtualNode1],hash:1684115164被添加
虚拟节点[192.168.1.2&&virtualNode2],hash:1285071933被添加
虚拟节点[192.168.1.2&&virtualNode3],hash:1092596195被添加
虚拟节点[192.168.1.2&&virtualNode4],hash:1587989184被添加
[127.0.0.1:8070]的hash值为955179062,被路由到结点[192.168.1.3]
[127.0.0.1:8080]的hash值为1617490351,被路由到结点[192.168.1.4]
[127.0.0.1:8090]的hash值为974175348,被路由到结点[192.168.1.3]

参考：

10 | 一致哈希算法：如何分群，突破集群的“领导者”限制？

一致性Hash算法以及java实现