zookeeper,kafka,redis等分布式框架的主从同步策略

在互联网行业中,分布式的框架,我们经常用的有zookeeper,kafka,redis等,怎么使用,我们大多数人都是知道的,关于怎么做到主从同步,每种工具的方式都是不同的。

Kafka的主从同步ISR

kafka的主从同步,主要是针对它的broker来说。

在kafka的broker中,同一个topic可以被分配成多个Partition,每个Partition的可以有一个或者多个replicas(备份),即会有一个leader以及0到多个Follower,在consumer读取数据的时候,只会从Leader上读取数据,Follower只是在Leader宕机的时候来替代Leader,主从同步有两种方式:同步复制和异步复制,Kafka采用的是中间策略ISR(In Sync Replicas)。

Kafka的ISR策略

在有数据写上Leader的时候,Leader会查看Follower组成的ISR列表,并且符合以下两点才算是属于ISR列表:

1、broker可以维护和zookeeper的连接,zookeeper通过心跳机制检查每个节点的连接

2、如果节点是个follow它必须能及时同步Leader的写操作,不能延时太久。

当有写消息的时候,我们可以根据配置做如下配置:

request.required.acks参数的设置来进行调整:
  • 0 ,相当于异步发送,消息发送完毕即offset增加,继续生产;相当于At most once
  • 1,leader收到leader replica 对一个消息的接受ack才增加offset,然后继续生产;
  • -1,leader收到所有replica 对一个消息的接受ack才增加offset,然后继续生产

Zookeeper的主从同步ZAB

Zookeeper的zab策略脱胎于Paxos算法,默认情况下,zk中写数据时,要有一半以上的从节点写入成功,才算是写入成功。

Redis的主从同步

redis因为是要提升性能,所以直接采用的异步复制,当在Master上写入数据后直接返回,然后把数据快照广播给Slave,让所有的Slaves去执行操作

你可能感兴趣的:(架构)