ZooKeeper保证之单一视图(Single System Image)

由于ZooKeeper的数据模型简单且全部在内存中,ZooKeeper的速度非常快。它提供了一系列保证(Guarantees)

  • 顺序一致性(Sequential Consistency)
  • 原子性(Atomicity)
  • 单一视图(Single System Image)
  • 可靠性(Reliability )
  • 实时性(Timeliness )

下面将结合源码(3.4.10版本)介绍下,ZooKeeper如何保证单一视图(Single System Image)。

一、ZooKeeper单一视图定义

单一视图(Single System Image)是指同一个客户端无论连接到集群中的哪台机器上,都将会看到服务的同一视图。即:同一客户端无论什么时候连接到哪个服务器上,都不会看到比自己之前看到的数据更早版本的数据。
单一视图保证是由ZooKeeper客户端与服务端建立连接请求时的一些校验操作实现的,具体如何实现?需要介绍下客户端到服务端连接建立的过程。

二、客户端到服务端连接建立以及请求处理流程

客户端到服务端建立连接流程基本如下:
  • 客户端通过服务器连接字符串、timeout等参数,创建客户端实例,启动客户端相关处理线程
  • 客户端与服务端之间创建socket连接
  • 客户端服务端发送连接建立请求
  • 服务端接收到连接建立请求后,会验证是否合法,决定是否建立连接
  • 如果连接合法,那么将与客户端之间建立起连接,并开始请求处理流程
  • 如果连接不合法,那么将拒绝连接,客户端将会寻找集群中的其他服务器,尝试建立连接

上述描述的流程如下图所示:

ZooKeeper保证之单一视图(Single System Image)_第1张图片

下面将结合源码(3.4.10版本)具体分析以上流程。

初始化

当创建ZooKeeper客户端实例(new ZooKeeper)的时候,会初始化客户端的一些设置:除了设置watcher、host提供器(HostProvider)之外,还会创建 ClientCnxn实例。
/**
 * TIPS:ClientCnxn类功能介绍
 * ClientCnxn类主要负责客户端的socket I/O功能,同时还提供了一个透明的到连接可用服务器的理由功能
 * TIPS:host提供器(HostProvider)
 * 这里介绍的客户端是ZooKeeper提供的原生客户端,其他客户端暂时不做分析。host提供器默认为StaticHostProvider,当连接新的服务器时,采用的是轮询列表中下一个服务器的方案
 */

ClientCnxn初始化的时候启动两个线程:消息收发线程SendThread事件处理线程EventThread

  • 消息收发线程:处理消息发送、消息接收以及心跳处理
  • 事件处理线程:主要处理节点相关事件以及连接状态事件

/**
 * TIPS:节点相关事件包括
 * 节点创建(NodeCreated)、节点删除(NodeDeleted)、节点数据更新(NodeDataChanged)、子节点变化(NodeChildrenChanged,包括子节点的创建和删除)
 */

这里主要涉及到消息收发线程。消息收发线程 SendThread启动后,会判断与服务器之间是否有连接,如果没有,则会根据host提供器选择集群中的一台服务器建立socket连接,同时发送建立连接的请求。以下将以 NIO通信(ZooKeeper3.4.0版本开始提供netty通信方式)为例。

客户端连接建立过程

ClientCnxn类中的SendThread线程里,当检测与服务器之间没有建立的socket连接时,会通过ClientCnxnSocket创建连接(clientCnxnSocket.connect(addr),NIO通信通过ClientCnxnSocketNIO类完成),主要完成以下步骤:

  • 创建与服务端的socket连接
  • 注册selector,并发送建立连接请求到服务端

具体 ClientCnxnSocketNIO中连接建立方法如下:
ZooKeeper保证之单一视图(Single System Image)_第2张图片
在注册selector和建立连接的过程中,会通过消息收发线程 SendThread的primeConnection方法发送连接请求,发送连接建立请求具体如下源码所示:
ZooKeeper保证之单一视图(Single System Image)_第3张图片
ClientCnxn.SendThread类中,创建连接请求包,这个包里将会包含客户端上次收到服务端反馈的事务id:zxid信息(客户端每次请求响应,服务端都会将最新的事务id作为消息头发送给客户端)。消息收发线程会通过建立的socket将该请求发送到服务端。
/**
 * TIPS:事务id - zxid
 * ZooKeeper事务都需要由leader节点处理,每个事务都有一个唯一的标识号,称之为事务id,记做zxid
 * 表示:ZooKeeper使用64位long型整数来表示zxid
 * 含义:前32位为epoch(此处翻译为时代,每发生一轮选举,epoch增一,因此可以认为一个leader当选的代表);后32位为当前leader处理事务的一个递增序列号
 * 深层含义zxid为递增序列,因此zxid可以代表当前ZooKeeper服务器上的数据版本:zxid越大代表数据版本越新
 */

建立连接请求包信息具体如下所示:
ZooKeeper保证之单一视图(Single System Image)_第4张图片

服务端连接建立过程 

在ZooKeeper服务端,NIO通信接收连接请求的类为NIOServerCnxn。服务端接收到连接请求后,会通过ZooKeeperServer类的processConnectRequest来单独处理连接建立的请求。服务端读取连接请求过程具体如下:

ZooKeeper保证之单一视图(Single System Image)_第5张图片

在ZooKeeperServer类的processConnectRequest方法中,主要分为以下几步:

  • 解析请求包数据
  • 获取该客户端之前收到的zxid信息
  • 验证客户端当前看到的数据版本信息是否比服务器的数据版本新,如果客户端当前看到的数据版本比较新,那么服务器将直接拒绝连接建立请求

服务端处理连接请求,验证数据版本zxid信息的过程具体如下:

ZooKeeper保证之单一视图(Single System Image)_第6张图片

请求处理过程

  • 服务端:每次服务器端处理客户端的请求,FinalRequestProcessor都会将当前服务器处理的最新的zxid放在响应头中返回。具体响应构建如下:


  • 客户端客户端收发线程接收到服务端的响应后,解析结果中的zxid,更新自己的lastZxid值信息,readResponse方法中处理如下:

三、单一视图保证

从上面的源码分析可知:当客户端正常连接集群中的一台服务器时,每次请求响应都会返回所连接的服务器上所处理的最新的事务id并进行记录。当客户端由于各种原因导致与服务器之间断连时,客户端将会以自己看到代表数据版本信息的zxid一起发送给服务端,请求建立连接。服务端在收到连接建立请求时,会进行判断:自己的数据版本没有客户端之前看到的数据版本新,服务端将会拒绝连接建立。从而保证 客户端不会连接到数据版本比自己之前看到的旧的服务器上,因此不会请求到老版本的数据,从而保证了单一视图特性。
下面通过一个简单示例,来说明整个过程,如下图所示:
  ZooKeeper保证之单一视图(Single System Image)_第7张图片
假设:集群中有三台服务器A/B/C,A为leader,其余两台为follower。
/**
 * TIPS:ZooKeeper服务器角色说明
 * Leader:领导者,是ZooKeeper集群的核心,负责集群各角色之间的协调和调度、事务请求的调度和处理,保证事务的顺序性以及数据一致性
 * Follower:追随者,可独立处理非事务请求,转发事务请求给Leader,参与事务的投票以及Leader选举投票
 * Observer:观察者,可独立处理非事务请求,转发事务请求给Leader,但是不参与各种投票,可提高整个集群的非事务请求处理能力
 * 其中,Follower和Observer称之为Learner
 */

某一时刻,服务器A与C数据一致,zxid均为5,服务器B的zxid为4。当出现以下情况时,客户端与服务端的处理过程:

  • 客户端client此时连接到服务器C,并且最后一个请求响应返回的zxid为5,client保存到lastZxid中
  • 由于client与服务器C之间存在网络问题导致client与C之间断连。client开始重新与集群建立连接
  • client随机到服务器B,开始与B建立连接
  • 发送的连接建立请求中,携带lastZxid为5
  • 服务器B接收到client的连接建立请求,判断自己的zxid与client传过来的lastZxid信息。发现客户端所看到的数据版本要比自己新(lastZxid > zxid),因此拒绝了client的建立连接的请求
  • client与服务器B建立连接失败,开始新一轮尝试,向服务器A发送建立连接请求
  • 服务器A同样去对比zxid以及客户端的lastZxid信息,发现版本一致,允许连接建立。至此,client与集群中的服务器A建立了新的连接。可以开始请求的发送与处理过程

四、参考资料

1、zookeeper整体概述:http://zookeeper.apache.org/doc/current/zookeeperOver.html
2、Observer角色说明:https://zookeeper.apache.org/doc/r3.3.3/zookeeperObservers.html

你可能感兴趣的:(ZooKeeper,zookeeper,单一视图,源码,分布式)