分布式协调服务-ZooKeeper
加粗样式
ZooKeeper入门
- 一、What is ZooKeeper?
-
- 1、ZooKeeper设计目标
- 2、ZooKeeper核心概念
-
- Session 会话
- ZNode 数据节点
- Watcher
- ACL
- 3、ZooKeeper应用场景
- 4、Paxos算法与Zab协议
- 二、ZooKeeper 集群安装
-
- 1、ZooKeeper 单机安装
- 2、ZooKeeper 集群安装
- 3、ZooKeeper 操作
一、What is ZooKeeper?
ZooKeeper官网
ZooKeeper 是一种面向分布式应用程序的分布式开源协调服务，目前属于 Apache 维护。现分布式数据一致性解决方案中可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。
ZooKeeper特点：
- 无单点： 一个(Leader)，多个(Follower)的集群，只要有
半数以上节点就能存活整个集群，集群安装适合奇数台服务器。 - 顺序一致性： 从同一客户端发起的事务请求，最终将会严格地按照顺序被应用到 ZooKeeper 中去。
- 原子性： 所有事务请求的处理结果即为全部应用成功，否则全部应用失败，无部分结果。
- 单个系统镜像 ： 无论客户端连到哪一个 ZooKeeper 服务器上，其看到的服务端数据模型都是一致的（无状态）。
- 实时性： 最新事务被成功应用，ZooKeeper 可以保证客户端立即读取到这个事务变更后最新状态的数据。
- 可靠性： 一旦一次更改请求被应用，更改的结果就会被持久化，直到被下一次更改覆盖。
数据模型和分层命名空间：
ZooKeeper 提供的命名空间与 Unix 文件系统的命名空间非常相似。名称是由斜杠（ / ）分隔的路径元素序列。每个节点称做一个 ZNode ，ZooKeeper 命名空间中的每个节点(ZNode)都由一个唯一路径标识。
1、ZooKeeper设计目标
ZooKeeper 简单数据模型：
- ZooKeeper 通过树形结构进行存储数据，它由在 ZooKeeper 的说法中称为 ZNodes 数据节点组成，类似于标准文件系统与文件。
- 与专为存储而设计的典型文件系统不同，ZooKeeper 数据保存在内存中，这意味着 ZooKeeper 可以实现高吞吐量和低延迟数字。
可配置 Cluster
- 为保证高可用，ZooKeeper都会以奇数出现在集群中保证高可用进行复制。
顺序访问
- ZooKeeper 会在每次更新中标记一个数字，该数字反映了所有 ZooKeeper 事务的顺序。后续操作可以使用该顺序来实现。
高性能更快速
- ZooKeeper 将数据全量存储在内存中以保持高性能，并通过服务集群来实现高可用。
- 由于 ZooKeeper 的所有更新和删除都是基于事务的，所以其在读多写少的应用场景中有着很高的性能表现。
2、ZooKeeper核心概念
Session 会话
Session 指的是 ZooKeeper 服务器与客户端会话。当客户端(Client) 通过 TCP 长连接 连接到 ZooKeeper 服务器时，Session 开始建立连接并通过心跳检测(tickTime) 与服务器保持有效会话。通过此连接，客户端(Client) 也可以向 ZooKeeper 服务端发送请求并接受响应，同时也可以接收到 Watch 事件的通知。
当由于服务器压力太大、网络故障或是客户端(Client) 主动断开连接等各种原因导致客户端连接断开时，只要在会话超时(SessionTimeout)规定的时间内能够重新连接上集群中任意一台服务器，那么之前创建的会话仍然有效。
ZNode 数据节点
在 Zookeeper 中，数据模型由数据节点(ZNode) 组成树形结构，ZNode 是一个跟 Unix 文件系统相似的节点，可以往这个节点存储或获取数据。每一个 ZNode 默认能够存储 1MB 的数据。
ZNode节点类型：
- 持久节点：客户端与 ZooKeeper 断开连接后，该节点依旧存在。
- 持久循序编号节点：客户端与 ZooKeeper 断开连接后，该节点依旧存在，只是 ZooKeeper 给该节点名称进行顺序编号。
- 临时节点：客户端与 ZooKeeper 断开连接后，该节点被删除。
- 临时循序编号节点：客户端与 ZooKeeper 断开连接后，该节点被删除，只是 ZooKeeper 给该节点名称进行顺序编号。
Watcher
Watcher 就是 ZooKeeper 中常用的事件监听器，ZooKeeper 允许用户注册一些 Watcher，并且在一些事件特定触发时，ZooKeeper 会将通知发给客户端。该机制是 ZooKeeper 实现分布式协调服务的重要特性。
ACL
Zookeeper采用ACL（AccessControlLists）策略来进行权限控制，类似于 Unix 文件系统的权限控制。
Zookeeper 定义的5种权限。
| 命令 | 作用 |
|---|---|
| create | 创建子节点权限 |
| read | 查看节点数据和子节点列表的权限 |
| write | 更新节点的权限 |
| delete | 删除节点的权限 |
| admin | 设置节点ACL的权限 |
3、ZooKeeper应用场景
- 统一命名服务： 在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
- 统一配置管理： 将信息写入 ZooKeeper，快速同步各个节点配置文件。
- 统一集群管理： 在分布式环境中，实时掌握每个节点的状态，ZooKeeper 可以实现实时监控节点状态变化。
- 服务器动态上下线： 客户端能实时洞察到服务器上下线的变化，进行事件通知。
- 软负载均衡： 在 ZooKeeper 中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。
4、Paxos算法与Zab协议
Paxos 算法
- Paxos 算法：一种基于消息传递且具有高度容错特性的一致性算法。
- Paxos 算法解决的问题： 就是如何快速正确的在一个分布式系统中对某个数据值达成一致，并且保证不论发生任何异常，都不会破坏整个系统的一致性。
- 在一个 Paxos 系统中，首先将所有节点划分为 Proposer(提议者)，Acceptor(接受者)，和
Learner(学习者)。(注意：每个节点都可以身兼数职)。
Paxos 算法缺点
-
Paxos 算法缺陷： 在网络复杂的情况下，一个应用 Paxos 算法的分布式系统，可能很久无法收敛，甚至陷入活锁的情况。
-
造成这种情况的原因是系统中有一个以上的 Proposer(提议者)，多个 Proposer(提议者) 相互争夺 Acceptor(接收者)，造成迟迟无法达成一致的情况。针对这种情况，一种改进的 Paxos 算法被提出：从系统中选出一个节点作为 Leader，只有 Leader 能够发起提案。这样，一次 Paxos 流程中只有一个 Proposer，不会出现活锁的情况。
Zab 协议
- Zab 算法： Zab 借鉴了 Paxos 算法，是特别为 ZooKeeper 设计的支持崩溃恢复的原子广播协议。基于该协议，ZooKeeper 设计为只有一台客户端（Leader）负责处理外部的写事务请求，然后Leader 客户端将数据同步到其他 Follower 节点。即 ZooKeeper 只有一个 Leader 可以发起提案。
- Zab 协议内容： Zab 协议包括两种基本的模式：消息广播、崩溃恢复。
CAP理论
CAP理论告诉我们，一个分布式系统不可能同时满足以下三种。
- 一致性（C:Consistency）
在分布式环境中，一致性是指数据在多个副本之间是否能够保持数据一致的特性。在一致性的需求下，当一个系统在数据一致的状态下执行更新操作后，应该保证系统的数据仍然处于一致的状态。 - 可用性（A:Available）
可用性是指系统提供的服务必须一直处于可用的状态，对于用户的每一个操作请求总是能够在有限的时间内返回结果。 - 分区容错性（P:Partition Tolerance）
分布式系统在遇到任何网络分区故障的时候，仍然需要能够保证对外提供满足一致性和可用性的服务，除非是整个网络环境都发生了故障。
这三个基本需求，最多只能同时满足其中的两项，因为P是必须的，因此往往选择就在CP或者AP中。
ZooKeeper保证的是CP
ZooKeeper 不能保证每次服务请求的可用性。（注：在极端环境下，ZooKeeper 可能会丢弃一些请求，消费者程序需要重新请求才能获得结果）。所以说，ZooKeeper 不能保证服务可用性。进行 Leader 选举时集群都是不可用。
二、ZooKeeper 集群安装
部署准备
| IP地址 | 主机名 | 操作系统 | ZooKeeper版本（官方下载地址） | JDK版本（国内下载地址） |
|---|---|---|---|---|
| 192.168.10.1 | ZooKeeper1 | CentOS 7.4 | apache-zookeeper-3.5.7-bin.tar.gz | jdk-8u291-linux-x64.tar.gz |
| 192.168.10.2 | ZooKeeper2 | CentOS 7.4 | apache-zookeeper-3.5.7-bin.tar.gz | jdk-8u291-linux-x64.tar.gz |
| 192.168.10.3 | ZooKeeper3 | CentOS 7.4 | apache-zookeeper-3.5.7-bin.tar.gz | jdk-8u291-linux-x64.tar.gz |
本次采用 ZooKeeper3.5.7 版本，JDK1.8.0_291。官方依赖查询
JDK安装
[root@ZooKeeper1 ~]# mkdir /zk/
[root@ZooKeeper1 ~]# ls /zk
jdk-8u291-linux-x64.tar.gz
[root@ZooKeeper1 zk]# tar zxvf jdk-8u291-linux-x64.tar.gz
[root@ZooKeeper1 zk]# ls
jdk1.8.0_291 jdk-8u291-linux-x64.tar.gz
[root@ZooKeeper1 zk]# cat << EOF >> /etc/profile.d/jdk.sh
> JAVA_HOME=/zk/jdk1.8.0_291
> PATH=\$JAVA_HOME/bin:\$PATH
> export JAVA_HOME PATH
> EOF
[root@ZooKeeper1 zk]# source /etc/profile
[root@ZooKeeper1 zk]# java -version
java version "1.8.0_291"
Java(TM) SE Runtime Environment (build 1.8.0_291-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)
1、ZooKeeper 单机安装
[root@ZooKeeper1 zk]# wget http://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz
[root@ZooKeeper1 zk]# tar zxvf apache-zookeeper-3.5.7-bin.tar.gz
[root@ZooKeeper1 zk]# ll
总用量 150636
drwxr-xr-x 6 root root 134 5月 12 19:43 apache-zookeeper-3.5.7-bin
-rw-r--r-- 1 root root 9311744 5月 12 19:43 apache-zookeeper-3.5.7-bin.tar.gz
drwxr-xr-x 8 root root 273 4月 8 2021 jdk1.8.0_291
-rw-r--r-- 1 root root 144935989 5月 12 19:21 jdk-8u291-linux-x64.tar.gz
[root@ZooKeeper1 zk]# mkdir apache-zookeeper-3.5.7-bin/data
[root@ZooKeeper1 zk]# cat <> apache-zookeeper-3.5.7-bin/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zk/apache-zookeeper-3.5.7-bin/data
clientPort=2181
EOF
配置注解：
tickTime：通信心跳时间，ZooKeeper Server 与 Client 心跳时间，单位毫秒。initLimit：Leader 和 Follower 间初始通信时限，单位次数，(Leader 和 Follower 初始连接时能容忍的最多心跳数（tickTime的数量）)。syncLimit：Leader 和 Follower 间同步通信时限，单位次数（Leader 和 Follower 之间通信时间超过syncLimit * tickTime，Leader认为Follwer死掉并删除Follwer）。dataDir：保存 ZooKeeper 内存数据库中的快照信息（当未配置 dataLogDir 参数时，日志信息也会存放到此目录）。clientPort：ZooKeeper 监听的端口，用于客户端连接使用。
ZooKeeper 状态查询
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkServer.sh start #启动
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkServer.sh restart #重启
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkServer.sh status #状态检查
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkServer.sh help #查看命令
ZooKeeper JMX enabled by default
Using config: /zk/apache-zookeeper-3.5.7-bin/bin/../conf/zoo.cfg
Usage: apache-zookeeper-3.5.7-bin/bin/zkServer.sh [--config ] {start|start-foreground|stop|restart|status|print-cmd}
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkCli.sh -server 127.0.0.1 #ZooKeeper客户端连接
2、ZooKeeper 集群安装
集群角色
| 角色 | 作用 |
|---|---|
| Leader | 提供读写服务，保证集群事务处理顺序性以及集群内部各服务器调度 |
| Follower | 提供读写服务，并定期向 Leader 汇报自己的节点状态（同时也参加 过半写成功的策略和 Leader 的选举） |
| Observer | 提供读写服务，并定期向 Leader 汇报自己的节点状态（与 Follower 区别是不参与选举于策略，可以在不影响写性能的情况下提升集群的读性能） |
| Looking | 寻找 Leader 状态，处于该状态需要进入选举流程 |
1、将 JDK 与 ZooKeeper 传给另外两台
[root@ZooKeeper1 zk]# for i in {2,3}
do
scp -r /zk/{jdk1.8.0_291,apache-zookeeper-3.5.7-bin} [email protected].$i:/zk/
done
[root@ZooKeeper2 zk]# source /etc/profile #生效
[root@ZooKeeper2 zk]# jps
15505 Jps
[root@ZooKeeper3 zk]# source /etc/profile #生效
[root@ZooKeeper3 zk]# jps
15513 Jps
2、将 ZooKeeper 配置传给另外两台
[root@ZooKeeper1 zk]# cat << EOF >> apache-zookeeper-3.5.7-bin/conf/zoo.cfg
> server.1=192.168.10.1:2888:3888
> server.2=192.168.10.2:2888:3888
> server.3=192.168.10.3:2888:3888
> EOF
[root@ZooKeeper1 zk]# for i in {2,3}
do
scp /zk/apache-zookeeper-3.5.7-bin/conf/zoo.cfg [email protected].$i:/zk/apache-zookeeper-3.5.7-bin/conf/
done
3、创建 myid 文件
[root@ZooKeeper1 zk]# echo "1" > /zk/apache-zookeeper-3.5.7-bin/data/myid
[root@ZooKeeper2 zk]# echo "2" > /zk/apache-zookeeper-3.5.7-bin/data/myid
[root@ZooKeeper3 zk]# echo "3" > /zk/apache-zookeeper-3.5.7-bin/data/myid
配置参数解读
server.A=B:C:D
A：是一个数字，表示这个是第几台服务器，在dataDir目录下；需要确保每台服务器myid不重复，并且和本机的zoo.cfg中的server.id的id一样。B：服务器地址。C：是服务器中的 Follower 与集群中的 Leader 服务器交换信息的端口。D：是集群中的 Leader 服务器宕机，需要用此端口来重新选举出一个新的 Leader，此端口就是用来执行选举时服务器相互通信的端口。
4、启动 ZooKeeper 集群
[root@ZooKeeper1 zk]# for i in {1,2,3}
do
ssh [email protected].$i /zk/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start
done
5、创建 ZooKeeper 状态查询脚本
#!/bin/bash
case $1 in
"start"){
for i in {1,2,3}
do
echo ---------- ZooKeeper $i 启动 ------------
ssh [email protected].$i "/zk/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start"
done
};;
"stop"){
for i in {1,2,3}
do
echo ---------- ZooKeeper $i 停止 ------------
ssh [email protected].$i "/zk/apache-zookeeper-3.5.7-bin/bin/zkServer.sh stop"
done
};;
"status"){
for i in {1,2,3}
do
echo ---------- ZooKeeper $i 状态 ------------
ssh [email protected].$i "/zk/apache-zookeeper-3.5.7-bin/bin/zkServer.sh status"
done
};;
"restart"){
for i in {1,2,3}
do
echo ---------- ZooKeeper $i 重启 ------------
ssh [email protected].$i "/zk/apache-zookeeper-3.5.7-bin/bin/zkServer.sh restart"
done
};;
esac
3、ZooKeeper 操作
ZooKeeper 选举机制
SID：服务器ID。用来唯一标识每台 ZooKeeper 集群中的机器，每台机器不能重复，和myid一致。ZXID：事务ID。ZXID 是一个事务 ID，用来标识每一次服务器状态的变更。在某一时刻，集群中的每台机器的 ZXID 值不一定完全一致，这和 ZooKeeper 服务器对于客户端更新请求的处理逻辑有关。Epoch：每个 Leader 任期的代号。没有 Leader 时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加。
非第一次启动选举 Leader 规则
- 1、Epoch 大的直接胜出
- 2、Epoch 相同，事务 ID 大的胜出
- 3、事务 ID 相同，服务器 ID 大的胜出
ZooKeeper 操作
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkCli.sh -server 127.0.0.1:2181 #启动 ZooKeeper 客户端
[zk: 127.0.0.1:2181(CONNECTED) 0] help #显示所有命令使用
[zk: 127.0.0.1:2181(CONNECTED) 32] ls / #查看当前 ZNode 中所包含的内容
[zookeeper]
[zk: 127.0.0.1:2181(CONNECTED) 33] ls -s / #查看当前 ZNode 详细数据
[zookeeper]cZxid = 0x0 #cZxid：创建节点的事务 zxid
ctime = Thu Jan 01 08:00:00 CST 1970 #ctime：ZNode 被创建的毫秒数（默认从 1970 年开始）
mZxid = 0x0 #mZxid：ZNode 最后更新的事务 zxid
mtime = Thu Jan 01 08:00:00 CST 1970 #mtime：ZNode 最后修改的毫秒数（默认从 1970 年开始）
pZxid = 0x10000000f #pZxid：ZNode 最后更新的子节点 zxid
cversion = 1 #cversion：ZNode 子节点变化号，ZNode 子节点修改次数
dataVersion = 0 #dataVersion：ZNode 数据变化号
aclVersion = 0 #aclVersion：ZNode 访问控制列表的变化号
ephemeralOwner = 0x0 #ephemeralOwner：如果是临时节点，这个是 ZNode 拥有者的 Session id。如果不是临时节点则是 0。
dataLength = 0 #dataLength：ZNode 的数据长度
numChildren = 1 #numChildren：ZNode 子节点数量
1、分别创建2个普通节点（永久节点 + 不带序号）
[zk: 127.0.0.1:2181(CONNECTED) 9] create /xy "xy" #创建永久节点
Created /xy
[zk: 127.0.0.1:2181(CONNECTED) 10] create /xy/xy1 "xy1"
Created /xy/xy1
[zk: 127.0.0.1:2181(CONNECTED) 11] set /xy/xy1 "xy111111111111111111111111111" #修改值
[zk: 127.0.0.1:2181(CONNECTED) 12] get /xy/xy1 #查看值
xy111111111111111111111111111
2、获得节点的值
[zk: 127.0.0.1:2181(CONNECTED) 46] get /xy #获取节点值
xy
[zk: 127.0.0.1:2181(CONNECTED) 47] get /xy/xy1
xy1
[zk: 127.0.0.1:2181(CONNECTED) 48] get -s /xy/xy1 #查看 ZNode 详细信息
xy1
cZxid = 0x100000012
ctime = Fri May 13 23:06:07 CST 2022
mZxid = 0x100000012
mtime = Fri May 13 23:06:07 CST 2022
pZxid = 0x100000012
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
3、创建带序号的节点（永久节点 + 带序号）
[zk: 127.0.0.1:2181(CONNECTED) 14] create /xy2 #创建普通节点
Created /xy2
[zk: 127.0.0.1:2181(CONNECTED) 15] create -s /xy2/xy22 "xy22" #永久带序号 ZNode
Created /xy2/xy220000000000
[zk: 127.0.0.1:2181(CONNECTED) 16] create -s /xy2/xy22 "xy22"
Created /xy2/xy220000000001
[zk: 127.0.0.1:2181(CONNECTED) 17] create -s /xy2/xy22 "xy22"
Created /xy2/xy220000000002
4、创建短暂节点（短暂节点 + 不带序号 & 带序号）
[zk: 127.0.0.1:2181(CONNECTED) 20] create /xy3 "xy3" #创建永久节点
Created /xy3
[zk: 127.0.0.1:2181(CONNECTED) 21] create -e /xy3/xy33 "xy33" #创建临时节点
Created /xy3/xy33
[zk: 127.0.0.1:2181(CONNECTED) 22] create -e -s /xy3/xy33 "xy33" #创建临时带序号节点
Created /xy3/xy330000000001
[zk: 127.0.0.1:2181(CONNECTED) 23] ls /xy3 #查看临时节点
[xy33, xy330000000001]
[zk: 127.0.0.1:2181(CONNECTED) 24] quit #退出 ZooKeeper 客户端
[root@ZooKeeper1 zk]# apache-zookeeper-3.5.7-bin/bin/zkCli.sh -server 127.0.0.1:2181 #重新进入
[zk: 127.0.0.1:2181(CONNECTED) 0] ls /xy3 #查看发现已经消失
[]
5、监听节点值变化
192.168.10.1
[zk: 127.0.0.1:2181(CONNECTED) 0] get -w /xy
xy
[zk: 127.0.0.1:2181(CONNECTED) 1]
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/xy
192.168.10.2
[zk: 127.0.0.1:2181(CONNECTED) 1] set /xy "xyxyxy"
[zk: 127.0.0.1:2181(CONNECTED) 2] set /xy "xyxyxyxyxyxy"
6、节点删除与查看
[zk: 127.0.0.1:2181(CONNECTED) 7] delete /xy/xy1 #删除节点
[zk: 127.0.0.1:2181(CONNECTED) 8] deleteall /xy2 #递归删除
[zk: 127.0.0.1:2181(CONNECTED) 8] stat / #查看节点状态
7、ZooInspector 工具介绍
- 1、配置Windows JDK。
- 2、解压 ZooInspector.rar 到任意路径，ZooInspector.rar 包以上传资源。
- 3、win+r 输入cmd 进入命令行工具，进入指定路径，输入java -jar zookeeper-dev-ZooInspector.jar 运行。
连接 ZooKeeper 地址方可操作，格式 IP:Port
连接上 ZooKeeper 的增删改查方可图形化执行
