ZooKeeper学习之server端实现的基本骨架

在ZK的源码中,leader,follower和observers的代码结构是高度统一的。在实现中主要的抽象就是request processor了。在处理消息的流水线(pipeline)中有很多不同的阶段,一个request processor代表其中的一个阶段,每一种server类型(无论leader,follower还是observer)实现了某一个特定的request processor的序列(相当于设计模式中的责任链模式,挺常见的)。每一个processor可以任意加到一条处理消息的责任链中。在所有的processor都处理OK之后,一个特定的消息才可以说被完全的处理了。

 

在代码中对应的是RequestProcessor接口,在这个接口中主要的方法是processRequest,它有一个Request的形参。在流水线的各个processor之间使用队列的形式来解耦。当一个processor有一个request要传给下一个processor时,就把request塞到队列中,在下一个processor准备处理这个request前,这个processor保持wait的状态。

 

Standalone模式

最简单的模式就是standalone模式了(参考ZooKeeperServer类,没有实现replication)。下图展示了对应的流水线。它有3个request processor:PrepRequestProcessor,SyncRequestProcessor和FinalRequestProcessor。


 

PrepRequestProcessor接收client的请求并执行,产生一个事务作为处理结果。执行一个操作后产生一个事务的处理结果,结果会直接反馈到ZK的data tree上。事务数据被附加到Request对象上。注意只有会改变ZK状态的操作才会产生一个事务,读操作不会产生事务,Request对象也不会附加事务数据。

 

下一个request processor是SyncRequestProcessor。它负责持久化事务到磁盘上。本质上是把事务按照顺序append到事务日志上,并每隔一段时间产生快照。后面的文章会更详细讨论事务日志和快照。

 

最后的processor是FinalRequestProcessor。当Request对象包括一个事务时它会改变data tree。另一方面,还会读data tree,返回结果给client。

 

Leader模式

当切换到quorum模式时,server的流水线有所改变。来看看leader的流水线吧(LeaderZooKeeperServer),如下图:
ZooKeeper学习之server端实现的基本骨架_第1张图片

 

第一个processor仍然是PrepRequestProcessor,但接下来的processor变成了ProposalRequestProcessor。它负责准备proposal并发送到follower。ProposalRequestProcessor把所有的请求转发到CommitRequestProcessor,另外还把写请求转发给SyncRequestProcessor。

 

SyncRequestProcessor的工作方式与standalone模式一样,持久化事务到磁盘。最后触发AckRequestProcessor,这是一个简单的request processor,它会产生一个ack给自己。leader等待quorum中的每个server的ack,包括它自己,AckRequestProcessor会搞定。

 

ProposalRequestProcessor后面还有其他processor,这就是CommitRequestProcessor。如果接收到足够的ack,它会commit这个proposal。详见Leader类(Leader.processAck()方法)。

 

最后的processor是FinalRequestProcessor,它的作用跟standalone模式下是相同的。它会处理更新请求和读请求(可以将leader配置成不进行持久化,专注于处理proposal,降低负载)。在FinalRequestProcessor之前,还有一个简单的request processor,它负责从要被执行的proposal列表中丢弃不需要处理的proposal,它就是ToBeAppliedRequestProcessor。这个列表就是收到足够的ack的,等待执行的proposal。leader使用这个列表来跟follow进行同步,当收到ack时,会把proposal加到这个列表中。ToBeAppliedRequestProcessor在FinalRequestProcess处理之前丢弃列表中的一些元素。

注意只有更新的请求会被加入这个列表,ToBeAppliedRequestProcessor不会处理读请求。

 

follower和observer模式

接下来讨论follow模式(参考FollowerRequestProcessor类)。下图展示了每一个request processor。注意processor的序列不是唯一的,并且输入的形式有很多种请求,比如client请求,proposal和commit。我们使用箭头来标明follower的不同的路线。


ZooKeeper学习之server端实现的基本骨架_第2张图片
 

首先FollowRequestProcessor接收并处理client的请求,并把请求转发到CommitRequestProcessor,此外还转发写请求到leader,还把读请求直接转发到FinalRequestProcessor。写请求则不一样,CommitRequestProcessor在写请求在FinalRequestProcessor上commit之前保持等待状态。

 

当leader接收到一个新的写请求时,无论是直接的(发生在本机)还是通过learner的,它会产生一个proposal并转发到它的follower。follower一旦接收到一个proposal,就会发送到自己的SyncRequestProcessor。SyncRequestProcessor会处理这个请求,写到事务日志,并转发到SendAckRequestProcessor,它会为这个proposal发送一个ack给leader。leader接收到足够的ack之后会commit这个proposal,leader就会发送commit消息给它的follower(也会发送INFORM消息给对应的observer)。一旦接收到commit消息,follower会用CommitRequestProcessor进行处理。

 

为了保证顺序的执行,CommitRequestProcessor会在接收到写请求时挂起,暂停处理其他请求。这意味着在写请求之后,接收到的任意的读请求会被阻塞,直到写请求完毕为止。通过等待来保证按照接收到的顺序来执行请求。

 

最后,observer的流水线(参考ObserverZooKeeperServer)非常类似follower。但是因为observer不需要对proposal进行ack,所以它没有必要向leader发回ack消息,也没有必要持久化事务到磁盘。如果让observer持久化的话可以加速recovery的过程,关于这点正在进行讨论,以后的release也许会有这项特性。

你可能感兴趣的:(ZooKeeper学习之server端实现的基本骨架)