分布式应用程序协调服务 ZooKeeper

1、简介:

  ZooKeeper 是一个分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题。统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。

2、ZooKeeper 目标:

  封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

3、ZooKeeper 工作方式:

  本身可以以 Standalone 模式安装运行,不过它的长处在于通过分布式 ZooKeeper 集群(一个Leader,多个 Follower),基于一定的策略来保证 ZooKeeper 集群的稳定性和可用性,从而实现分布式应用的可靠性。

  最新的版本可以在官网 http://zookeeper.apache.org/releases.html 来下载 zookeeper 的最新版本。

4、ZooKeeper 特点:

  最终一致性:为客户端展示同一个视图,这是 ZooKeeper 里面一个非常重要的功能。
  可靠性:如果消息被一台服务器接受,那么它将被所有的服务器接受。
  实时性:ZooKeeper 不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用 sync() 接口。
  独立性:各个 Client 之间互不干预。
  原子性:更新只能成功或者失败,没有中间状态。
  顺序性:所有 Server,同一消息发布顺序一致。

5、ZooKeeper 工作原理:

  每个 Server 在内存中存储了一份数据;
  ZooKeeper 启动时,将从实例中选举一个 Leader(Paxos 协议);
  Leader 负责处理数据更新等操作(Zab 协议);
  一个更新操作成功,当且仅当大多数 Server 在内存中成功修改数据。

  选举机制:

    全新集群选举:每个机器都给自己投票、投票数过半选举结束。myid 大的权重大。
    非全新集群选举:数据ID、服务器ID和逻辑时钟
    逻辑时钟小的选举结果被忽略,重新投票;
    统一逻辑时钟后,数据 ID 大的胜出;
    数据 ID 相同,服务器 ID 大的胜出。

  Paxos 协议:

    它是一个基于消息传递的一致性算法。Paxos 有一个前提:没有拜占庭将军问题。就是说 Paxos 只有在一个可信的计算环境中才能成立,这个环境是不会被入侵所破坏的。

    工作流程:提出提议,议员超过半数则提议生效,通知所有。顺序性提议编号。

  ZAB 协议:

  用来保障分布式数据一致性。ZAB 是一种支持崩溃恢复的消息广播协议,采用类似 2PC 的广播模式保证正常运行时性能,并使用基于 Paxos 的策略保证崩溃恢复时的一致性。

  ZAB 协议中节点存在四种状态:
    Leading:当前节点为集群 Leader,负责协调事务
    Following:当前节点为 Follower 在 Leader 协调下执行事务
    Looking:集群没有正在运行的 Leader, 正处于选举过程
    Observing:节点跟随 Leader 保存系统最新的状态提供读服务,但不参与选举和事务投票

  ZAB 协议的两种工作模式:
    广播模式:当集群正常运行过程中,Leader 使用广播模式保证各 Follower 节点的一致性
    恢复模式:集群启动或 Leader 崩溃时系统进入恢复模式,选举 Leader 并将集群中各节点的数据同步到最新状态

  ZooKeeper 集群中每个节点都会存储系统数据的完整副本,可以独立处理读请求。
  当 Follower 收到写请求时会将其转发给 Leader, Leader 为每个写请求分配唯一的全局有序的事务ID(Zookeeper Transaction Id, ZXID)。
  Leader 在广播模式下协调各 Follower 完成事务,并保证集群更新到一致的状态。

6、ZooKeeper 角色:

  领导者(Leader):领导者负责进行投票的发起和决议,更新系统状态,处理写请求。
  跟随者(Follwer):Follower 用于接收客户端的读写请求并向客户端返回结果,在选主过程中参与投票。
  观察者(Observer):观察者可以接收客户端的读写请求,并将写请求转发给 Leader,但 Observer节点不参与投票过程,只同步 leader 状态,Observer 的目的是为了扩展系统,提高读取速度。
  客户端(Client):执行读写请求的发起方。

7、ZooKeeper 的数据模型:

  树形结构的命名空间,与文件系统类似,层次化的目录结构,命名符合常规文件系统规范;
  数据大小不超过 1MB(可配置),数据读写要保证完整性;
  每个节点在 zookeeper 中叫做 znode,并且其有一个唯一的路径标识;
  节点(znode)都可以存数据,可以有子节点,节点不支持重命名;
  节点 Znode 可以包含数据和子节点(临时节点不能有子节点);
  Znode 中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据需带上版本;
  客户端应用可以在节点上设置监视器(Watcher)
  节点不支持部分读写,而是一次性完整读写;
  Znode 有两种类型,短暂的(ephemeral)和持久的(persistent)
  Znode 的类型在创建时确定并且之后不能再修改;
  短暂 znode 的客户端会话结束时,zookeeper 会将该短暂 znode 删除,短暂 znode 不可以有子节点;
  持久 znode 不依赖于客户端会话,只有当客户端明确要删除该持久 znode 时才会被删除;
  Znode 有 四 种 形 式 的 目 录 节 点 ,PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL。

  节点属性:
    dataVersion(数据版本号)
    cversion(子节点版本号)
    ACLVersion
    cZxid(创建的事务id)
    mZxid(修改的事务id)
    ctime(节点创建时间)
    mtime(节点更新时间)
    ephemeralOwner(0x0:永久节点)

8、数据发布与订阅:

  创建数据目录,订阅者初次启动的时候去 ZK 指定的节点获取相关的订阅信息;获取数据的同时,设置监听(监听节点数据的变化);一旦节点数据改变,触发监听,订阅者收到事件通知,获取数据,再次设置监听。
  注:统一管理的数据不能太大

9、ZooKeeper 主要应用场景:

  (1)统一命名服务:

    分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同服务;
    类似于域名与 ip 之间对应关系,域名容易记住;
    通过名称来获取资源或服务的地址,提供者等信息;
    按照层次结构组织服务/应用名称;
    可将服务名称以及地址信息写到 ZooKeeper 上,客户端通过 ZooKeeper 获取可用服务列表类。

  (2)配置管理服务:

    分布式环境下,配置文件管理和同步是一个常见问题;
    一个集群中,所有节点的配置信息是一致的;
    对配置文件修改后,希望能够快速同步到各个节点上;
    配置管理可交由 ZooKeeper 实现,可将配置信息写入 ZooKeeper 的一个 znode 上,各个节点监听这个 znode ,一旦 znode 中的数据被修改,ZooKeeper 将通知各个节点。

  (3)集群管理:

    分布式环境中,实时掌握每个节点的状态是必要的;
    可根据节点实时状态作出一些调整;
    可交由 ZooKeeper 实现,可将节点信息写入 ZooKeeper 的一个 znode 上,监听这个 znode 可获取它的实时状态变化。

    实现思路:
    在 ZooKeeper 上创建一个临时节点,然后每个 Server 在它们创建目录节点的父目录节点上调用 getChildren(String path, boolean watch) 方法并设置 watch 为 true,由于是临时节点,当创建它的 Server 死去,这个目录节点也随之被删除,所以 Children 将会变化,这时 getChildren 上的 Watch 将会被调用,所以其它 Server 就知道已经有某台 Server 死去了。新增 Server 也是同样的原理。

  (4)分布式通知和协调:

    分布式环境中,经常存在一个服务需要知道它所管理的子服务的状态;
    NameNode 须知道各 DataNode 的状态
    JobTracker 须知道各 TaskTracker 的状态
    心跳检测机制可通过 ZooKeeper 实现,信息推送可由 ZooKeeper 实现(发布/订阅模式)

  (5)分布式锁:保持独占、控制时序(序列化)

    Client 首先在 ZK 上指定的目录创建节点(节点是一个非序列化的临时节点),只能有一个创建成功,谁创建成功,谁就获得访问数据文件的权限,操作完成断开和 ZK 的连接,其他应用如果需要操作这个文件,就去监听这个目录是否存在。

  (6)分布式队列:

    两种队列:
    当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达,这种是同步队列。
    队列按照 FIFO 先进先出方式进行入队和出队操作,例如实现生产者和消费者模型。(可通过分布式锁实现)

    同步队列:
    一个 job 由多个 task 组成,只有所有任务完成后,job 才运行完成。
    可为 job 创建一个/job 目录,然后在该目录下,为每个完成的 task 创建一个临时 znode,一旦临时节点数目达到 task 总数,则 job 运行完成。
    同步队列实现思路:
    创建一个父目录 /synchronizing,每个成员都监控标志(Set Watch)位目录 /synchronizing/start 是否存在,然后每个成员都加入这个队列,加入队列的方式就是创建 /synchronizing/member_i 的临时目录节点,然后每个成员获取 / synchronizing 目录的所有目录节点,也就是 member_i。判断 i 的值是否已经是成员的个数,如果小于成员个数等待 /synchronizing/start 的出现,如果已经相等就创建/synchronizing/start。

    FIFO 队列实现思路:
    实现的思路也非常简单,就是在特定的目录下创建 SEQUENTIAL 类型的子目录 /queue_i,这样就能保证所有成员加入队列时都是有编号的,出队列时通过 getChildren( ) 方法可以返回当前所有的队列中的元素,然后消费其中最小的一个,这样就能保证 FIFO。

10、ZooKeeper 集群配置:

(1)卸载 openjdk,安装 jdk 环境,配置环境变量

(2)时间同步、防火墙处理

(3)配置主机名到 ip 地址的映射

[root@znode1 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.31 znode1
192.168.100.32 znode2
192.168.100.33 znode3

(4)三个节点分别:下载、解压 zookeeper-3.4.14.tar.gz 至安装目录(例:/usr/local/src/zookeeper-3.4.14)

(5)创建同名软链接

(6)修改 ZooKeeper 配置文件

[root@znode1 ~]# cd /usr/local/src/zookeeper/conf/
[root@znode1 conf]# cp zoo_sample.cfg zoo.cfg
[root@znode1 conf]# vim zoo.cfg
dataDir=/data/zookeeper
clientPort=2181
server.1=znode1:2888:3888    #心跳端口、选举端口
server.2=znode2:2888:3888
server.3=znode3:2888:3888

# 参数说明
tickTime=2000    #心跳间隔
initLimit=10     #Follower 服务器初始化连接时最长能忍受多少个心跳时间间隔数
syncLimit=5      # Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度
dataDir          #Zookeeper保存数据的目录,默认情况下Zookeeper将写数据的日志文件也保存在这个目录里。
clientPort       #这个端口就是客户端(应用程序)连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口接受客户端的访问请求。
server.A=B:C:D   #A 为数字,表示第几号服务器;B 是这个服务器的 IP 地址或主机名映射;C 第一个端口用来集群成员的信息交换,表示这个服务器与集群中的 Leader 服务器交换信息的端口;D 是在 leader 挂掉时专门用来进行选举 leader 所用的端口。

 (7)在数据目录下创建 myid 文件

[root@znode1 ~]# cat /data/zookeeper/myid 
1

(8)启动 ZooKeeper 集群

[root@znode1 ~]# /usr/local/src/zookeeper/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@znode1 ~]# jps    # 查看进程
1397 Jps
1372 QuorumPeerMain
[root@znode1 ~]# /usr/local/src/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@znode2 ~]# /usr/local/src/zookeeper/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@znode2 ~]# jps
1291 Jps
1260 QuorumPeerMain
[root@znode2 ~]# /usr/local/src/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: leader
[root@znode3 ~]# /usr/local/src/zookeeper/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@znode3 ~]# jps
1330 QuorumPeerMain
1355 Jps
[root@znode3 ~]# /usr/local/src/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower

(9)链接

[root@znode1 ~]# /usr/local/src/zookeeper/bin/zkCli.sh    # 本地链接
......
[zk: localhost:2181(CONNECTED) 0] 


[root@znode2 ~]# /usr/local/src/zookeeper/bin/zkCli.sh -server znode3    # 远程链接
......
[zk: znode3(CONNECTED) 0] 

(9)简单命令

  创建:create [-se] [path]

    -s:序列化;-e:临时节点

  ls、get、ls2

[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /data 123
Created /data
[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper, data]
[zk: localhost:2181(CONNECTED) 3] get /data
123
cZxid = 0x400000005
ctime = Fri May 22 18:23:24 CST 2020
mZxid = 0x400000005
mtime = Fri May 22 18:23:24 CST 2020
pZxid = 0x400000005
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
[zk: localhost:2181(CONNECTED) 4] ls2 /data
[]
cZxid = 0x400000005
ctime = Fri May 22 18:23:24 CST 2020
mZxid = 0x400000005
mtime = Fri May 22 18:23:24 CST 2020
pZxid = 0x400000005
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

 

  删除:delete [-se] [path]

  rmr [path]

  quota

  setquota -n|-b [val] [path]

    n : 表示子节点的最大个数
    b : 表示数据值的最大长度
    val : 子节点最大个数或数据值的最大长度

  listquota

  delquota

  history

  redo

 

你可能感兴趣的:(分布式应用程序协调服务 ZooKeeper)