zookeeper节点数据类型介绍及集群搭建

一、zookeeper介绍

zookeeper官网：Apache ZooKeeper

zookeeper是一个分布式协调框架，保证的是CP，即一致性和分区容错性；zookeeper是一个分布式文件存储系统，文件节点可以存储数据，监听子文件节点等可以实现数据的集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能

二、zookeeper安装和基本命令

1、zookeeper安装

下载地址：Apache ZooKeeper

运行环境：jdk8

 1）修改配置文件

tar -zxvf apache-zookeeper-3.9.0-bin.tar.gz
#切换的zookeeper的conf目录下
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
#zoo.cfg文件配置的关键信息如下
#zookeeper时间配置中的基本单位（毫秒）
tickTime=2000
#允许follower初始化连接到leader最大时长，它表示tickTime时间倍数 即：initLimit*tickTime
initLimit=10
#允许follower与leader数据同步最大时长，它表示tickTime时间倍数 即：syncLimit*tickTime
syncLimit=5
#zookeeper数据存储目录及日志保存目录（如果没有指明dataLogDir，则日志也保存在这个目录下）
dataDir=/usr/local/zookeeper
#对客户端提供的端口号
clientPort=2181
#单个客户端与zookeeper最大并发连接数
maxClientCnxns=60
#保存的数据快照数量，超出3将会被清理
autopurge.snapRetainCount=3
#自动触发清除任务时间间隔，小时为单位，默认为0，表示不自动清除
autopurge.purgeInterval=1

2）启动zookeeper server 

#切换的zookeeper的home目录下
#查看启动相关参数
bin/zkServer.sh
#默认加载配置文件conf/zoo.cfg
bin/zkServer.sh --config conf/zoo.cfg start

#查看zookeeper状态
bin/zkServer.sh status

3）客户端命令连接 

bin/zkCli.sh
#远程连接zookeeper server
bin/zkCli.sh -server ip:port

2、客户端操作命令

连接到zookeeper server后输入help命令查看支持的命令

常见cli命令

ZooKeeper-cli文档

命令基本语法	功能描述
help	显示所有操作命令
ls [-s] [-w] [-R] path	使用 ls 命令来查看当前 znode 的子节点 [可监听] -w: 监听子节点变化 -s: 节点状态信息（时间戳、版本号、数据大小等） -R: 表示递归的获取
create [-s] [-e] [-c] [-t ttl] path [data] [acl]	创建节点 -s : 创建有序节点。 -e : 创建临时节点。 -c : 创建一个容器节点。 t ttl] : 创建一个TTL节点， -t 时间（单位毫秒）。 data：节点的数据，可选，如果不使用时，节点数据就为null。 acl：访问控制
get [-s] [-w] path	获取节点数据信息 -s: 节点状态信息（时间戳、版本号、数据大小等） -w: 监听节点变化
set [-s] [-v version] path data	设置节点数据 -s:表示节点为顺序节点 -v: 指定版本号
getAcl [-s] path	获取节点的访问控制信息 -s: 节点状态信息（时间戳、版本号、数据大小等）
setAcl [-s] [-v version] [-R] path acl	设置节点的访问控制列表 -s:节点状态信息（时间戳、版本号、数据大小等） -v:指定版本号 -R:递归的设置
stat [-w] path	查看节点状态信息
delete [-v version] path	删除某一节点，只能删除无子节点的节点。 -v： 表示节点版本号
deleteall path	递归的删除某一节点及其子节点
setquota -n|-b val path	对节点增加限制 n:表示子节点的最大个数 b:数据值的最大长度，-1表示无限制

3、图形化界面工具

Releases · vran-dev/PrettyZoo · GitHub

直接下载安装就行了

三、zookeeper数据结构

zookeeper的层次模型称为Data Tree，Data Tree的每个节点叫做Znode，每个节点采用key-value的数据模型保存数据，每个节点默认1M的空间存储数据，每个节点都有一个版本(version)，从0开始计数

1、节点分类

1）持久节点（persistent node）

#创建持久节点
create /servers xxx

节点创建后即使发生zookeeper集群宕机或者client宕机也不会丢失 

2）临时节点（ephemeral node）

#创建临时节点
create -e /servers/host xxx

client宕机或者client在指定的timeout时间内没有给zookeeper集群发消息，这样的znode就会消失

3）有序节点（sequential node）

#创建临时有序节点
create -e -s /servers/host xxx

创建节点时会生成节点自增的名称后缀 

4）容器节点（container node）

#创建容器节点
create -c /container xxx

(3.5.3版本新增)Container容器节点，当容器中没有任何子节点，该容器节点会被zk定期删除（定时任务默认60s 检查一次)。 和持久节点的区别是 ZK 服务端启动后，会有一个单独的线程去扫描，所有的容器节点，当发现容器节点的子节点数量为 0 时，会自动删除该节点。可以用于 leader 或者锁的场景中。 

5）TTL节点（ttl node）

# 创建ttl节点
create -t 10 /ttl

带过期时间节点，默认禁用，需要在zoo.cfg中添加 extendedTypesEnabled=true 开启。 注意：TTL不能用于临时节点 

2、监听机制

watch机制，顾名思义是一个监听机制。Zookeeper中的watch机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知给客户端。

监听的对象是事件，支持的事件类型如下：

• None: 连接建立事件
• NodeCreated： 节点创建
• NodeDeleted： 节点删除
• NodeDataChanged：节点数据变化
• NodeChildrenChanged：子节点列表变化
• DataWatchRemoved：节点监听被移除
• ChildWatchRemoved：子节点监听被移除

#监听节点数据的变化
get -w path 
stat -w path
#监听子节点增减的变化 
ls -w path 

特性	说明
一次性触发	watch是一次性的，一旦被触发就会移除，再次使用时需要重新注册
客户端顺序回调	watch回调是顺序串行执行的，只有回调后客户端才能看到最新的数据状态。一个watcher回调逻辑不应该太多，以免影响别的watch执行
轻量级	WatchEvent是最小的通信单位，结构上只包含通知状态、事件类型和节点路径，并不会告诉数据节点变化前后的具体内容
时效性	watcher只有在当前session彻底失效时才会无效，若在session有效期内快速重连成功，则watcher依然存在，仍可接收到通知；

永久性Watch 

在被触发之后，仍然保留，可以继续监听ZNode上的变更，是Zookeeper 3.6.0版本新增的功能

addWatch [-m mode] path

addWatch的作用是针对指定节点添加事件监听，支持两种模式

• PERSISTENT，持久化订阅，针对当前节点的修改和删除事件，以及当前节点的子节点的删除和新增事件。
• PERSISTENT_RECURSIVE，持久化递归订阅(默认)，在PERSISTENT的基础上，增加了子节点修改的事件触发，以及子节点的子节点的数据变化都会触发相关事件（满足递归订阅特性）

 

3、节点特性

1. 同一级节点 key 名称是唯一的

已存在/lock节点，再次创建会提示已经存在

2.创建节点时，必须要带上全路径

3.session 关闭，临时节点清除

4.自动创建顺序节点

5.watch 机制，监听节点变化

事件监听机制类似于观察者模式，watch 流程是客户端向服务端某个节点路径上注册一个 watcher，同时客户端也会存储特定的 watcher，当节点数据或子节点发生变化时，服务端通知客户端，客户端进行回调处理。特别注意：监听事件被单次触发后，事件就失效了。

6.delete 命令只能一层一层删除。提示：新版本可以通过 deleteall 命令递归删除。

4、应用场景

ZooKeeper适用于存储和协同相关的关键数据，不适合用于大数据量存储。

有了上述众多节点特性，使得 zookeeper 能开发不出不同的经典应用场景，比如：

• 注册中心
• 数据发布/订阅（常用于实现配置中心）
• 负载均衡
• 命名服务
• 分布式协调/通知
• 集群管理
• Master选举
• 分布式锁
• 分布式队列

1）统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。

例如：IP不容易记住，而域名容易记住。

利用 ZooKeeper 顺序节点的特性，制作分布式的序列号生成器，或者叫 id 生成器。（分布式环境下使用作为数据库 id，另外一种是 UUID（缺点：没有规律）），ZooKeeper 可以生成有顺序的容易理解的同时支持分布式环境的编号。

/
└── /order
    ├── /order-date1-000000000000001
    ├── /order-date2-000000000000002
    ├── /order-date3-000000000000003
    ├── /order-date4-000000000000004
    └── /order-date5-000000000000005

2）数据发布订阅

数据发布/订阅的一个常见的场景是配置中心，发布者把数据发布到 ZooKeeper 的一个或一系列的节点上，供订阅者进行数据订阅，达到动态获取数据的目的。

配置信息一般有几个特点:

1. 数据量小的KV
2. 数据内容在运行时会发生动态变化
3. 集群机器共享，配置一致

ZooKeeper 采用的是推拉结合的方式。

1. 推: 服务端会推给注册了监控节点的客户端 Watcher 事件通知
2. 拉: 客户端获得通知后，然后主动到服务端拉取最新的数据

3）统一集群管理

分布式环境中，实时掌握每个节点的状态是必要的，可根据节点实时状态做出一些调整。

ZooKeeper可以实现实时监控节点状态变化：

• 可将节点信息写入ZooKeeper上的一个ZNode。
• 监听这个ZNode可获取它的实时状态变化。

4）负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求

5）Master-Worker框架

master-work是一个广泛使用的分布式架构。 master-work架构中有一个master负责监控worker的状态，并为

worker分配任务。

• 在任何时刻，系统中最多只能有一个master，不可以出现两个master的情况，多个master共存会导致脑

裂。

• 系统中除了处于active状态的master还有一个backup master，如果active master失败了，backup master可

以很快的进入active状态。

• master实时监控worker的状态，能够及时收到worker成员变化的通知。master在收到worker成员变化的

时候，通常重新进行任务的重新分配。

5、ACl权限控制

zookeeper 的 acl 通过 [scheme:id:permissions] 来构成权限列表。

• scheme：授权的模式，代表采用的某种权限机制，包括 world、auth、digest、ip、super 几种。
• id：授权对象，代表允许访问的用户。如果我们选择采用 IP 方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。
• permissions：授权的权限，权限组合字符串，由 cdrwa 组成，其中每个字母代表支持不同权限， 创建权限 create(c)、删除权限 delete(d)、读权限 read(r)、写权限 write(w)、管理权限admin(a)。

模式	描述
world	授权对象只有一个anyone，代表登录到服务器的所有客户端都能对该节点执行某种权限
ip	对连接的客户端使用IP地址认证方式进行认证
auth	使用以添加认证的用户进行认证
digest	使用 用户:密码方式验证

权限类型	ACL简写	描述
read	r	读取节点及显示子节点列表的权限
write	w	设置节点数据的权限
create	c	创建子节点的权限
delete	d	删除子节点的权限
admin	a	设置该节点ACL权限的权限

授权命令	用法	描述
getAcl	getAcl path	读取节点的ACL
setAcl	setAcl path acl	设置节点的ACL
create	create path data acl	创建节点时设置acl
addAuth	addAuth scheme auth	添加认证用户，类似于登录操作

测试

取消节点的读权限后，读取/name节点没有权限

 取消节点删除子节点的权限

auth授权模式

创建用户

addauth digest gaorufeng:123

 设置权限

setAcl /name auth:gaorufeng:123:cdrwa

# 加密
echo -n gaorufeng:123 | openssl dgst -binary -sha1 | openssl base64
setAcl /name auth:fox:ZsWwgmtnTnx1usRF1voHFJAYGQU=:cdrwa
addauth digest gaorufeng:123

digest授权模式

#设置权限
setAcl /tuling/fox digest:gaorufeng:ZsWwgmtnTnx1usRF1voHFJAYGQU=:cdrwa

IP授权模式

setAcl /node-ip ip:192.168.109.128:cdwra
create /node-ip  data  ip:192.168.109.128:cdwra

多个指定IP可以通过逗号分隔， 如 setAcl /node-ip ip:IP1:rw,ip:IP2:a

Super 超级管理员模式

这是一种特殊的Digest模式， 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任何的操作。

需要在启动脚本上通过添加JVM 参数开启：

# DigestAuthenticationProvider中定义
-Dzookeeper.DigestAuthenticationProvider.superDigest=admin:

可插拔身份验证接口

ZooKeeper提供了一种权限扩展机制来让用户实现自己的权限控制方式。

要想实现自定义的权限控制机制，需要继承接口AuthenticationProvider，用户通过该接口实现自定义的权限控制。

public interface AuthenticationProvider {
    // 返回标识插件的字符串
    String getScheme();
    // 将用户和验证信息关联起来
    KeeperException.Code handleAuthentication(ServerCnxn cnxn, byte authData[]);
    // 验证id格式
    boolean isValid(String id);
    // 将认证信息与ACL进行匹配看是否命中
    boolean matches(String id, String aclExpr);
    // 是否授权
    boolean isAuthenticated();
}

四、zookeeper集群架构

1、集群角色

1. Leader：领导者，事务请求（写操作）的唯一调度者和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create、setData、delete等有写操作的请求，则要统一转发给leader处理，leader需要决定编号、执行操作，这个过程称为事务。
2. Follower：跟随者，处理客户端非事务（读操作）请求（可以直接响应），转发事务请求给Leader；参与集群Leader选举投票。
3. Observer：观察者，对于非事务请求可以独立处理（读操作），对于事务性请求会转发给leader处理。Observer节点接收来自leader的inform信息，更新自己的本地存储，不参与提交和选举投票。通常在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

2、集群架构

3、集群搭建

一台虚拟机器：192.168.64.133

1) 修改zoo.cfg配置，添加server节点配置

#每个集群节点都新建一个data目录作为数据日志区分
dataDir=/usr/local/zookeeper/data1
dataLogDir=/usr/local/zookeeper/log1
#客户端连接端每个集群节点也要更换
clientPort=2181
server.1=192.168.64.133:2881:3881
server.2=192.168.64.133:2882:3882
server.3=192.168.64.133:2883:3883
server.4=192.168.64.133:2884:3884:observer

#切换到每个集群节点下的dataDir目录下创建myid文件 内容对应到server.x的x值
vim myid

#启动全部节点
bin/zkServer.sh start conf/zoo1.cfg
bin/zkServer.sh start conf/zoo2.cfg
bin/zkServer.sh start conf/zoo3.cfg
bin/zkServer.sh start conf/zoo4.cfg

#查看集群节点状态
bin/zkServer.sh status conf/zoo1.cfg
bin/zkServer.sh status conf/zoo2.cfg
bin/zkServer.sh status conf/zoo3.cfg
bin/zkServer.sh status conf/zoo4.cfg

#连接客户端
bin/zkCli.sh -server 192.168.64.133:2181,192.168.64.133:2182,192.168.64.133:2183,192.168.64.133:2184

4、四字命令使用

用户可以使用Zookeeper四字命令获取 zookeeper 服务的当前状态及相关信息。用户在客户端可以通过 nc（netcat） 向 zookeeper 提交相应的命令。

安装 nc 命令：

# centos yum install nc

四字命令格式：

echo [command] | nc [ip] [port]

ZooKeeper 常用四字命令主要如下：

四字命令	功能描述
conf	3.3.0版本引入的。打印出服务相关配置的详细信息。
cons	3.3.0版本引入的。列出所有连接到这台服务器的客户端全部连接/会话详细信息。包括"接受/发送"的包数量、会话id、操作延迟、最后的操作执行等等信息。
crst	3.3.0版本引入的。重置所有连接的连接和会话统计信息。
dump	列出那些比较重要的会话和临时节点。这个命令只能在leader节点上有用。
envi	打印出服务环境的详细信息。
reqs	列出未经处理的请求
ruok	测试服务是否处于正确状态。如果确实如此，那么服务返回"imok"，否则不做任何相应。
stat	输出关于性能和连接的客户端的列表。
srst	重置服务器的统计。
srvr	3.3.0版本引入的。列出连接服务器的详细信息
wchs	3.3.0版本引入的。列出服务器watch的详细信息。
wchc	3.3.0版本引入的。通过session列出服务器watch的详细信息，它的输出是一个与watch相关的会话的列表。
wchp	3.3.0版本引入的。通过路径列出服务器watch的详细信息。它输出一个与session相关的路径。
mntr	3.4.0版本引入的。输出可用于检测集群健康状态的变量列表

ZooKeeper: Because Coordinating Distributed Systems is a Zoo

开启四字命令

方法1： 在zoo.cfg 文件里加入配置项让这些指令放行

#开启四字命令 4lw.commands.whitelist=*

方法2：在zk的启动脚本zkServer.sh中新增放行指令

#添加JVM环境变量-Dzookeeper.4lw.commands.whitelist=* ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"

stat 命令

stat 命令用于查看 zk 的状态信息，实例如下：

echo stat | nc 192.168.65.186 2181

ruok 命令

ruok 命令用于查看当前 zkserver 是否启动，若返回 imok 表示正常。

echo ruok | nc 192.168.65.186 2181

5、选举原理