rocketMq - master/slave同步

系列

rocketMq概念介绍

rocketMq-namesrv介绍

rocketMq-Topic创建过程

rocketMq-producer介绍

rocketMq-consumer介绍

rocketMq - rebalance介绍

rocketMq - 并发消费过程

rocketMq - 串行消费过程

rocketMq-broker介绍

rocketMq-broker消息存储介绍

rocketMq - commitLog

rocketMq - index介绍

rocketMq-延迟消息介绍

rocketMq-事务消息介绍

rocketMq消息查询

rocketMq和kafka的架构区别

rocketMq - master/slave同步


本章主要需要讲清楚两个概念,第一个是slave主动和master同步,第二个是master主动和slave同步。而且我保证这是唯一一篇能够把这两个过程讲清楚的文章,至少在这篇文章之前我找了很多文章,没有一篇文章将整个过程合起来讲解清楚的,说明还是花了时间在里面的。

slave->master同步:主要是指slave会定期向master发起同步数据请求,master向slave返回数据。

master->slave同步:在设置为同步双写的时候,master每写入一条消息都会同步到slave当中。


master/slave同步报文格式

rocketMq - master/slave同步_第1张图片
报文格式

说明

    1、slave上报进度的时候只要一个位置就够了

    2、master同步slave的时候需要传递物理位移,数据长度以及数据。


slave上报进度并同步数据

rocketMq - master/slave同步_第2张图片
slave同步master

说明:共享自互联网

1、作为slave角色的broker启动的时候会读取本地mappedFile文件获取消息最大偏移量

2、作为master的角色在收到broker上报的消息偏移量开始基于这个位置循环向slave发送消息

3、作为slave角色的broker在收到master发来的消息开始写mappedFile并同时上报偏移量

4、补充说明一下步骤2的过程中master只参考slave第一次上报的位移作为起始偏移发送消息,在这之后master向slave发送数据是自循环的

--------------------------slave->master过程---------------------------

slave->master的master端代码

rocketMq - master/slave同步_第3张图片
slave同步master核心类

说明:

1、HAConnection主要用于slave向master同步数据时候master端的处理逻辑。

2、ReadSocketService负责读取slave上报的数据并更新同步进度。

3、WriteSocketService负责源源不断的往slave发送数据。


slave->master的master同步进度

rocketMq - master/slave同步_第4张图片
ReadSocketService核心代码

说明

    1、ReadSocketService负责读取slave上报进度,并在第一次作为起始位移开始同步数据

    2、非第一次读取slave上报的进度的时候,通知其他等待进程消息已经同步到slave当中,这里所谓的其他线程是指配置了master/slave同步写的进程,那些进程写完master后等待slave同步完数据并上报进度后才会被唤醒。

    3、重点来了,好好理解步骤2中这句话的意思。


slave->master的master同步数据

rocketMq - master/slave同步_第5张图片
master同步数据给slave

说明:

    1、master第一次以slave上报的偏移量作为起始偏移量,注意强调了第一次采用上报偏移量

    2、master有了起始偏移量后就自行源源不断的同步数据给slave

    3、组装报文并发送给slave节点


slave->master的slave端处理逻辑

rocketMq - master/slave同步_第6张图片
slave上报master并解析返回结果

说明:参见HAService。

    1、slave定期上报进度

    2、处理master同步过来的数据并保存

    3、如果同步数据成功后立即向master汇报最新的位移



rocketMq - master/slave同步_第7张图片
slave实际保存数据

说明:

    1、这部分的处理逻辑实际上是slave处理逻辑的进一步深入也就是保存消息数据的地方

    2、保存完以后立即调用reportSlaveMaxOffsetPlus上报数据

    3、reallocateByteBuffer函数内部的实现非常巧妙,解决了buffer不够的问题


--------------------------master->slave过程---------------------------

这个过程需要理解一个过程,一个比较绕的过程

1、master写完数据数据后生成master->slave同步请求并wakeup同步线程立即执行

2、master同步等待master->slave同步完成,同步过程是一个链路

3、master->slave同步请求发出去过,master处于等待状态,slave同步完master以后会回传进度,监控进程会不停的检查回传进度,检测回传的进度大于刚发送出去的master->slave的进度的时候认为同步写完成,然后就返回。


master_sync模式下的写

rocketMq - master/slave同步_第8张图片
master写完数据同步slave

说明:参见CommitLog类的putMessage方法

    1、appendMessage数据写到commitLog

    2、handleHA内部判断如果是master_sync且为master节点才开始同步消息


rocketMq - master/slave同步_第9张图片
生成master->slave同步请求并通知同步线程工作

说明:

    1、创建master->slave同步请求并投递,wakeupAll同步线程立即同步数据

    2、等待同步数据的进度,flushOK表示已经同步完成

    3、这里要看清楚,putRequest是调用的this.groupTransferService.putRequest。

rocketMq - master/slave同步_第10张图片
检查是否同步完成的代码逻辑

说明:

    1、这个图说明了检查同步完成的整个过程,通过检查返回的位移大于发送消息的位移来保证同步完成。

    2、req.wakeupCustomer其实就是用来告知一个开始投递的req数据同步已完成,对照上面两个图就可以看懂了,一定对比上面两张图。

    3、那么问题来了,这个的push2SlaveMaxOffset是什么时候更新的呢?



rocketMq - master/slave同步_第11张图片
master同步了slave的进度
rocketMq - master/slave同步_第12张图片
通知同步进度

说明:

    1、也就是说真正触发整个过程是有AcceptSocketService服务引起的,AcceptSocketService服务接收上报进度并通知notify机制通知原本在等待同步完成的线程。



rocketMq - master/slave同步_第13张图片
交互过程

说明:

    1、master->slave同步的过程整体过程如上图,需要自己稍微消化一下。

你可能感兴趣的:(rocketMq - master/slave同步)