BATJ大厂Java面试题解(25) - Redis集群应用与原理
Redis集群原理？
集群下，key如何寻址？
寻址有哪些算法？
讲讲一致性hash？
又被大厂面试官连环炮轰！
1 集群概述
Redis集群不断发展，可实现在多台机器，部署多实例，每个实例存部分数据。
同时每个实例可以带上Redis从实例，保证若Redis主实例挂了，自动切换到redis从实例。
上古时代，很多用codis之类客户端支持集群。现在版本大家都用Redis cluster，即官方提供的集群模式，必须深入研究了。
2 读写分离下的横向扩容
2.1 单master架构的容量瓶颈
TB数据在缓存，供系统高效查询。缓存清理算法，将旧的很少使用数据，清除出内存，然后保证内存中只有固定大小的内存，不可能超过master节点内存上限。
master节点数据和slave节点的数据保持一致。
2.2 master横向扩容支撑TB数据
一个redis即可横向扩容了。若要支撑更大数据缓存，就横向扩容更多master节点，每个master节点就能存放更多数据。
单台服务器32G，30台即可达1TB。
3 数据分布算法
hash/一致性hash/redis cluster hash slot
不同算法决定了在多master节点时，数据如何分布到这些节点。
- 自动将数据分片，每个master放部分数据
- 提供内置的高可用，部分master不可用时，还可继续工作
Redis cluster下，每个Redis要开放两个端口。
比如一个是6379，另一个就是加10000的端口号16379
16379端口用于节点间通信，即cluster bus集群总线。cluster bus的通信，用来故障检测，配置更新，故障转移授权。
cluster bus用另一种二进制协议 - gossip，用于节点间高效数据交换，占用更少网络带宽和处理时间。
3.1 hash
来个key后，计算hash值，然后对节点数量(3)取模。
012三个结果打到对应mater node。
一个mater宕机，所有请求过来，会发现都基于最新的2个master取模，尝试去取数据。导致大部分请求无法拿到有效缓存，流量涌入数据库。
高井发场景不可接受。并发, 3的流量不能走缓存，全部走数据库，数据库就会被压垮。
任一master宕机，大量数据就需重新计算写入缓存。
某mater宕机，就导致数据全部失效。全部要重新对剩下2台master取模，再分布到其他的节点。
3.2 一致性hash
自动缓存迁移、自动负载均衡。
可能集中在某个hash区间值多，导致大量数据涌入同个master，造成master热点问题，导致性能瓶颈。
有个key过来，同样计算hash值，然后用hash值在圆环对应各点(每点都有个hash
值)对比，看hash值该落在这圆环的哪个部位。
key落在圆环后，顺时针寻找距离自己最近节点。
一致性hash算法保证任一master宕机，只有之前在那master上的数据会受影响，因为顺时针走，全部在之前master上找不到了。会顺时走到下个master，也找
不到。
1/3的流量瞬间涌入数据库，重新查询。几乎接近100%流量全部失效。
虚拟节点
给每个master做均匀分布的虚拟节点。
这样在每个区间内，大量数据均匀分布到不同节点内，而非按照顺时针顺序，全部
涌入同一master。
3.3 redis cluster hash slot
任一节点宕机，不影响其余两节点。
因为key找的是hash slot，不是节点。
- redis cluster固定16384个槽位。
// 获得对应hash slot
public static int getSlot(String key) {
if (key == null) {
throw new JedisClusterOperationException("Slot calculation of null is impossible");
}
key = JedisClusterHashTagUtil.getHashTag(key);
// 使用2的次幂的模运算符进行优化，等价于getCRC16（key）％ 16384
// 1.对key计算CRC16
// 2.对16384取模
return getCRC16(key) & (16384 - 1);
}
redis cluster中每个master都持有部分slot，比如3个master，那每个master持5000多hash slot。
hash slot让node的增加移除更简单：
- 增加master，就将其他master的hash slot移部分过去
- 减少master，就将它的hash slot移到其他master
移动hash slot的成本也低。客户端api，可对指定的数据，让他们走同一hash slot，通过hash tag实现。
4 节点间内部通信
4.1 通信原理
维护集群元数据。
4.1.1 集中式
- 集中式的集群元数据存储和维护
集群元数据集中式存储的典型的代表是大数据领域。
storm，分布式大数据实时计算引擎，集中式元数据存储架构，基于zookeeper 的集群维护元数据。
集群有很多元数据，包括hashslot- > node间映射表关系。还有master-> slave之间
关系，故障信息。
将集群元数据（节点信息，故障等）集中存储在某节点。
优点
元数据更新和读取，时效性好。
一旦元数据变更，立即更新到集中式存储，其他节点读取时立即就可感知
- 缺点
所有的元数据的跟新压力全部集中在一个地方，可能会导致元数据的存储有压力
Redis cluster节点间采取的另一种称为
gossip协议
之间不断通信，保持整个集群所有节点的数据完整。
优点
元数据更新较分散，不集中在一个地，更新请求会陆续打到所有节点，有一定延时，降低了压力
缺点
元数据更新有延时，可能导致集群的一些操作滞后。
我们刚才做reshard，去做另外一个操作，会发现说，configuration error，达成一致
（2）10000端口
每个节点都有一个专门用于节点间通信的端口，就是自己提供服务的端口号+10000，比如7001，那么用于节点间通信的就是17001端口
每隔节点每隔一段时间都会往另外几个节点发送ping消息，同时其他几点接收到ping之后返回pong
（3）交换的信息
故障信息，节点的增加和移除，hash slot信息，等等
5.1.2 gossip协议
- gossip协议维护集群元数据
所有节点都持一份元数据，不同节点如果出现元数据变更，就不断将元数据发给
其他节点，让其他节点也进行元数据的变更。
meet
某节点发送meet给新加入的节点，让新节点加入集群，然后新节点就会开始与其他节点通信
redis-trib.rb add-node
其实内部就是发送了一个gossip meet消息给新节点，通知该节点加入集群
ping
每个节点都会频繁给其他节点发ping，其中包含自己的状态，还有维护的集群元数据，互相通过ping交换元数据。
ping很频繁，而且要携带一些元数据，可能会加重网络负担。
每个节点每s会执行10次ping，每次会选择5个最久没有通信节点。如果发现某节点通信延时达到
cluster_node_timeout / 2
那么立即发送ping，避免数据交换延时过长，落后的时间太长了。比如说，两节点之间已经10分钟没有交换数据，那么整个集群处于严重的元数据不一致的情况，就会有问题。所以cluster_node_timeout可以调节，如果调节比较大，那么会降低发送频率。
每次ping，一个是带上自己节点信息，还有就是带上1/10其他节点信息，发送出去，进行数据交换。至少包含3个其他节点的信息，最多包含总节点-2个其他节点的信息。
pong
返回ping和meet，包含自己的状态和其他信息，也可用于信息广播和更新
fail
某个节点判断另一个节点fail后，就发送fail给其他节点，通知其他节点，指定的节点宕机啦！
6 面向集群的Jedis内部实现原理
开发Jedis，Redis的Java客户端
jedis cluster api与redis cluster集群交互的一些基本原理
6.1 基于重定向的客户端
redis-cli -c，自动重定向
6.1.1 请求重定向
客户端可能会挑选任意一个Redis实例去发送命令，每个实例接收到命令，都会计算key对应的hash slot
若在本地就在本地处理，否则返回moved给客户端，让客户端重定向
cluster keyslot mykey
可查看一个key对应的hash slot是什么
用redis-cli的时候，可加入-c参数，支持自动的请求重定向，redis-cli接收到moved之后，会自动重定向到对应的节点执行命令
6.1.2 计算hash slot
计算hash slot的算法，就是根据key计算CRC16值，然后对16384取模，拿到对应的hash slot
用hash tag可以手动指定key对应的slot，同一个hash tag下的key，都会在一个hash slot中，比如set mykey1:{100}和set mykey2:{100}
6.1.3 hash slot查找
节点间通过gossip协议数据交换，就知道每个hash slot在哪个节点上
6.2 smart jedis
6.2.1 什么是smart jedis
基于重定向的客户端，很消耗网络IO，因大部分情况可能都会出现一次请求重定向，才能找到正确节点。
所以大部分客户端，比如jedis，都是smart。
本地维护一份hashslot -> node映射表缓存。
大部分情况直接走本地缓存，即可找到hashslot -> node，无需通过节点进行moved重定向。
6.2.2 Jedis Cluster原理
JedisCluster初始化时，会随机选个node，初始化hashslot -> node映射表；
同时为每个节点建个JedisPool连接池。
每次基于JedisCluster操作。
- 首先JedisCluster会在本地计算key的hashslot
- 然后在本地映射表找到对应节点
- 如果那个node正好还是持有那个hashslot，那就ok; 如果进行reshard，可能hashslot已不在那个node，就会返回moved
如果JedisCluter API发现对应的节点返回moved，那么利用该节点的元数据，更新本地的hashslot -> node映射表缓存
重复上面几个步骤，直到找到对应的节点，如果重试超过5次，那么就报错，JedisClusterMaxRedirectionException
jedis老版本，可能会出现在集群某个节点故障还没完成自动切换恢复时，频繁更新hash slot，频繁ping节点检查活跃，导致大量网络IO开销
jedis最新版本，对于这些过度的hash slot更新和ping，都进行了优化，避免了类似问题
6.2.3 hashslot迁移和ask重定向
如果hash slot正在迁移，那么会返回ask重定向给jedis
jedis接收到ask重定向之后，会重新定位到目标节点去执行，但是因为ask发生在hash slot迁移过程中，所以JedisCluster API收到ask是不会更新hashslot本地缓存
已经可以确定说，hashslot已经迁移完了，moved是会更新本地hashslot->node映射表缓存的
7 高可用性与主备切换原理
原理，几乎跟哨兵类似
7.1 判断节点宕机
若一个节点认为另外一个节点宕机，即pfail - 主观宕机
若多个节点都认为另外一个节点宕机，即fail - 客观宕机
跟哨兵的原理几乎一样，sdown - odown
在cluster-node-timeout内，某个节点一直没有返回pong，那么就被认为pfail
若一个节点认为某个节点pfail，那么会在gossip ping消息中，ping给其他节点，若超过半数的节点都认为pfail，那么就会变成fail
7.2 从节点过滤
对宕机的master node，从其所有的slave node中，选择一个切换成master node
检查每个slave node与master node断开连接的时间，如果超过了
cluster-node-timeout * cluster-slave-validity-factor
那么就没有资格切换成master，这个也跟哨兵是一样的，从节点超时过滤的步骤
7.3 从节点选举
哨兵：对所有从节点进行排序，slave priority，offset，run id
每个从节点，都根据自己对master复制数据的offset，设置一个选举时间，offset越大（复制数据越多）的从节点，选举时间越靠前，优先进行选举
所有的master node开始slave选举投票，给要选举的slave投票，如果大部分
master node（N/2 + 1）
都投票给了某从节点，那么选举通过，该从节点可以切换成master
从节点执行主备切换，从节点切换为主节点
7.4 VS 哨兵
类似哨兵，所以redis cluster功能强大，直接集成了replication和sentinal功能。