【RocketMQ】8.高可用机制——消息消费高可用,消息发送高可用,消息主从复制

高可用机制【RocketMQ】8.高可用机制——消息消费高可用,消息发送高可用,消息主从复制_第1张图片

RocketMQ分布式集群是通过Master和Slave的配合达到高可用性

Master和Slave的区别:在Broker的配置文件中,参数brokerId的值为0表明这个Brocker是Master,大于0表明这个Brocker是Slave,同时BrokerRole参数也会说明这个Brocker是Master还是Slave

Master角色的Brocker支持读和写,Slave角色的Brocker仅支持读,也即是Producer只能和Master角色的Broker连接写入消息;Consumer可以连接Master角色的Brocker,也可以连接Slave觉得的Brocker来读取消息

消息消费高可用

在Consumer的配置文件中,并不需要设置是从Master读还是从Slave读,当Master不可用或者繁忙的时候,Consumer会被自动切换从Slave读。有了自动切换Consumer这种机制,当一个Master角色机出现故障后,Consumer仍然可以从Slave读取消息,不影响Consumer程序,这就达到了消费端的高可用性

消息发送高可用

在创建Topic的时候,把Topic的多个Messafe Queue创建在多个Brocker组上(相同Brocker名称,不同brocker的机器组成一个Brocker组),这样当一个Brocker组的Master不可用后,其他的Master仍然可用,Procucer仍然可以发送消息,RocketMq目前还不支持把Slave自动转成Master,如果集器资源不足,需要把Slave转成Master,则要手动停止Slave角色的Brocker,更改配置文件,用新的配置文件启动Brocker
【RocketMQ】8.高可用机制——消息消费高可用,消息发送高可用,消息主从复制_第2张图片

消息的主从复制

如果一个Brocker组有Master和Slave,消息需要从Master复制到Slave上,有同步和异步两种方式

  1. 同步复制
    同步复制方式等Master和Slave均写 成功后反馈给客户端写成功状态
    在同步复制方式下,如果Master出现故障,Slave上有全部的备份数据,容易恢复,但是同步复制会增大数据写入迟缓,降低系统吞吐量
  2. 异步复制
    异步复制方式是只要Master写成功 即可反馈给客户端写成功状态
    在异步复制方式下,系统拥有较低的延迟和较高的吞吐量,但是如果Master出了故障,有些数据因为没有被写入Slave,有可能会丢失
  3. 配置
    同步复制和衣服复制是通过Brocker配置文件里的BrockerRole参数进行设置的,这个参数可以被设置成AAYNC_MASTER,SYNC_MASTER,SLAVE三个值中的一个
    【RocketMQ】8.高可用机制——消息消费高可用,消息发送高可用,消息主从复制_第3张图片
  4. 总结
    实际应用中要结合业务场景,合理设置刷盘方式和主从复制方式,尤其是SYNC_FLUSH方式,由于频繁的触发磁盘写动作,会明现降低性能。通常情况下,应该把Master和Save配置成ASYNC_FLUSH的刷盘方式,主从之间配置成SYNC_MASTER的复制方式,这样即时有一台机器出故障,仍然能保证数据不丢,是个不错的选择
    异步刷盘+主从同步复制

你可能感兴趣的:(RocketMQ)