ZooKeeper

ZooKeeper 由java开发

简介：Apache ZooKeeper 是一种用于分布式应用程序的高性能协调服务，提供一种集中式信息存储服务。
特点：数据存储在内存中，类文件系统的树形结构（文件和目录），高吞吐量和低延迟，集群高可靠。
作用：基于 ZooKeeper可以实现分布式统一配置中心、服务注册中心，分布式锁等功能。
- 发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列

Zookeeper Service

截屏2021-05-21 19.04.50.png

数据存储

截屏2021-05-21 19.04.56.png

ZooKeeper为C/S应用

分布式协调服务

单机系统因处理能力上限、可用性、可靠性的考虑，变成分布式系统。
原来在单机进程中完成一件事的多个步骤，变为在多个计算机中执行，这时就需要协调多个计算机节点做事的顺序，原来在单系统中资源竞争通过锁进行同步控制，现在变为多个计算机上的进程间资源竞争，也需要分布式协调。
我们可以把每个分布式系统中需要的协调管理的公共基础部分抽取出来作为一个基础公共服务供大家使用，这就是分布式协调服务。

应用案例

Hbase：使用 ZooKeeper 进行 master 选举、服务间协调。
Solr：使用 ZooKeeper 进行集群管理、Leader 选举、配置管理。
dubbo：服务注册。
Mycat：集群管理、配置管理。
Sharding-JDBC：集群管理、配置管理。

单机版安装

下载：https://zookeeper.apache.org/releases.html。
解压后的 conf 目录，增加配置文件 zoo.cfg

配置参数：https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_configuration
启动服务端：bin/zkServer.sh start

客户端连接

zkCli.sh -server 127.0.0.1:2181`

服务端状态

sundeMacBook-Pro:~ sun$ zkServer status
ZooKeeper JMX enabled by default
Using config: /usr/local/etc/zookeeper/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone

CLI-操作指令

指令	描述
ls	获取子节点。
create	在 ZooKeeper 中的某个位置创建一个节点。
delete	删除节点。
exists	测试节点是否存在。
get data	从指定节点读取数据。
set data	将数据存入指定节点。
get children	c查询指定节点之下所有的子节点。
sync	等待数据进行同步。

# 指令语法参照
ZooKeeper -server host:port -client-configuration properties-file cmd args
        addWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVE
        addauth scheme auth
        close 
        config [-c] [-w] [-s]
        connect host:port
        create [-s] [-e] [-c] [-t ttl] path [data] [acl]
        delete [-v version] path
        deleteall path [-b batch size]
        delquota [-n|-b] path
        get [-s] [-w] path
        getAcl [-s] path
        getAllChildrenNumber path
        getEphemerals path
        history 
        listquota path
        ls [-s] [-w] [-R] path
        printwatches on|off
        quit 
        reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
        redo cmdno
        removewatches path [-c|-d|-a] [-l]
        set [-s] [-v version] path data
        setAcl [-s] [-v version] [-R] path acl
        setquota -n|-b val path
        stat [-w] path
        sync path
        version

Java API

org.apache.zookeeper
org.apache.zookeeper.data
创建客户端的核心类：Zookeeper

方法	描述
connect	连接到 ZooKeeper 集合
create	创建 znode
exists	检查 znode 是否存在及其信息
get data	从特定的 znode 获取数据
set data	在特定的 znode 中设置数据
get children	获取特定的 znode 中的所有子节点
delete	删除指定的 znode 及其所有子项
close	关闭连接

第三方客户端

java

zkClient


    com.101tec
    zkclient
    0.11

curator


  org.apache.curator
  curator-framework
  4.0.0


  org.apache.curator
  curator-recipes
  4.0.0

zookeeper


  org.apache.zookeeper
  zookeeper
  3.4.8

PHP

参考：https://www.jianshu.com/p/82e0925ed37f

核心概念

session

一个客户端连接一个会话，由 zk 分配唯一会话 id；
客户端以特定的时间间隔发送心跳以保持会话有效：tickTime；
超过会话超时时间未收到客户端的心跳，则判定客户端死了；（默认 2 倍 tickTime）
会话中的请求按 FIFO 顺序执行。

数据模型

截屏2021-05-21 19.04.56.png

层次空间名称

类似 unix 文件系统，以（/）为根。
区别：节点可以包含与之关联的数据以及子节点（既是文件也是文件夹）。
节点的路径总是表示为规范的、绝对的、斜杠分隔的路径。

znode

名称唯一，命名规范。
节点类型：持久、顺序、临时、临时顺序。
节点数据构成

znode-命名规范

节点名称除以下限制外，可以使用任何 unicode 字符。
null 字符（\u0000）不能作为路径名的一部分；
以下字符不能使用，因为它们不能很好地显示，或者以令人困惑的方式呈现：\u0001-\u0019 和 \u007F-\u009F。
不允许使用以下字符：\ud800-\uf8ff，\uFFF0-\uFFFF。
“.” 字符可以用作另一个名称的一部分，但是 “.” 和 “..” 不能单独用于指示路径上的节点，因为 ZooKeeper 不适用相对路径。
下列内容无效：“/a/b/./c” 或 “c/a/b/../”
“zookeeper” 是保留节点名。

znode-节点类型

持久节点 - create /app1 666
临时节点 - create -e /app2 888
顺序节点

create -s /app1/cp 888 - cp0000000000

create -s /app1/ aa - 0000000001
- 10 位十进制序号。
- 每个父节点一个计数器。
- 计数器是带符号 int（4 字节）到 2147483647 之后将溢出（导致名称“-2147483648”）是一个负数
临时顺序节点 - create -e -s /app1/ 888 （会话结束删除）

znode-数据构成

节点数据：存储的协调数据（状态信息、配置、位置信息等）。
节点元数据（stat 结构）。
数据量上限：1 M。

znode-元数据 stat 结构

zxid：事务ID

[zk: localhost:2181(CONNECTED) 21] get -s /zk_test
888
cZxid = 0x4600000009
ctime = Fri May 21 15:37:20 CST 2021
mZxid = 0x4600000009
mtime = Fri May 21 15:37:20 CST 2021
pZxid = 0x4600000009
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

Stat 结构字段	描述
cZxid	创建该节点的 zxid（事务 id）
mZxid	最后修改该节点的 zxid
pZxid	znode 最后更新的子节点 zxid
ctime	该节点的创建时间
mtime	该节点的最后修改时间
dataVersion	该节点数据被修改的次数
cversion	该节点的子节点变更次数
ephemeralOwner	临时节点的所有者会话 id，如果不是临时节点，则为 0
dataLength	该节点的数据的长度
numChildren	子节点数
aclVersion	访问控制列表变更次数

Zookeeper 中的时间

多种方式跟踪时间：

zxid：ZooKeeper 中的每次更改操作都对应一个唯一的事物 id，称为 Zxid，它是一个全局有序的戳记，如果 zxid1 小于 zxid2，则zxid1 发生在 zxid2 之前。
version numbers：版本号，对节点的每次更改都会导致该节点的版本号增加。
ticks：当使用多服务器 ZooKeeper 时，服务器使用“滴答”来定义事件的时间，如状态上传、会话超时、对等点之间的连接超时等。滴答时间仅通过最小会话超时（滴答时间的 2 倍）间接公开；如果客户端请求的会话超时小于最小会话超时，服务器将告诉客户端会话超时实际上是最小会话超时。（基本时间单位）
real time：ZooKeeper 除了在 znode 创建和修改时将时间戳放入 stat 结构之外，根本不使用 real time 或时钟时间。

访问控制

设置访问控制列表：https://zookeeper.apache.org/doc/current/zookeeperProgrammers.html#sc_ZooKeeperAccessControl

zookeeper ACL权限控制，使用scheme:id:perm来标识

权限模式（scheme）：授权的策略
- world：默认方式，相当于全部都能访问
- auth：代表已经认证通过的用户(cli中可以通过addauth digest user:pwd 来添加当前上下文中的授权用户)
- digest：即用户名:密码这种方式认证，这也是业务系统中最常用的。
  - 用 username:password 字符串来产生一个MD5串，然后该串被用来作为ACL ID。
  - 认证是通过明文发送username:password 来进行的，当用在ACL时，表达式为username:base64 ，base64是password的SHA1摘要的编码
- ip：使用客户端的主机IP作为ACL ID 。这个ACL表达式的格式为addr/bits ，此时addr中的有效位与客户端addr中的有效位进行比对。
授权对象（id）：授权对象

授权对象ID是指，权限赋予的用户或者一个实体，例如：IP 地址或者机器。授权模式 schema 与授权对象 ID 之间对应关系如下
- IP：ip地址或ip地址段，192.168.0.1 或 192.168.0.1/24
- Digest：自定义，通常是 "username:BASE64(SHA-1(username:password))
- World：只有一个ID anyone
- Super：与digest模式一致
权限（permission）：授予的权限

CREATE、READ、WRITE、DELETE、ADMIN 也就是增、删、改、查、管理权限，这5种权限简写为crwda

注意：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限。更详细的如下:
- CREATE c 可以创建子节点
- DELETE d 可以删除子节点（仅下一级节点）
- READ r 可以读取节点数据及显示子节点列表
- WRITE w 可以设置节点数据
- ADMIN a 可以设置节点访问控制列表权限

ACL 相关命令
- getAcl getAcl
读取ACL权限
- setAcl setAcl
设置ACL权限
- addauth addauth 添加认证用户

ZooKeeper的权限控制是基于每个znode节点的，需要对每个节点设置权限，每个znode支持设置多种权限控制方案和多个权限，子节点不会继承父节点的权限，客户端无权访问某节点，但可能可以访问它的子节点。

# 获取权限
[zk: localhost:2181(CONNECTED) 22] getAcl /zk_test 
'world,'anyone
: cdrwa
# 设置权限
[zk: localhost:2181(CONNECTED) 23] setAcl /zk_test world:anyone:drwa
[zk: localhost:2181(CONNECTED) 24] getAcl /zk_test 
'world,'anyone
: drwa
# 创建节点设置权限
[zk: localhost:2181(CONNECTED) 38] create -c /acl_test 123 world:anyone:drca
Created /acl_test
[zk: localhost:2181(CONNECTED) 39] getAcl /acl_test 
'world,'anyone
: cdra

Watch 监听机制

客户端可以在 znodes 上设置 watch，监听 znode 的变化。

截屏2021-05-21 19.04.56.png

比如，客户端可以发送watch命令，监听指定节点/app1/p_1的动态

# 涉及watch的cli命令
config [-c] [-w] [-s]
get [-s] [-w] path
ls [-s] [-w] [-R] path
stat [-w] path
# 比如通过 get 监听 /a
[zk: localhost:2181(CONNECTED) 50] get /a -w

# watch 对应API
getData()
getChildren()
exists()

两类 watch

data watch：监听数据变化
child watch：监听子节点变化

触发 watch 事件

Created event: Enabled with a call to exists.
Deleted event: enabled with a call to exists, getData, and getChildren.
Changed event: Enabled with a call to exists and getData.
Child event: Enabled with a call to getChildren.

watch 重要特性

一次性触发：watch 触发后即被删除，要持续监控变化，则需要持续设置 watch。
有序性：客户端先得到 watch 通知，后才会看到变化结果。

watch 注意事项

watch 是一次性触发器，如果你获得了一个 watch 事件，并且希望得到关于未来更改的通知，则必须设置另一个 watch。
因为 watch 是一次性触发器，并且在获取事件和发送获取 watch 的新请求之间存在延迟，所以不能可靠地得到节点发生的每个更改。
一个 watch 对象只会被特定的通知触发一次。如果一个 watch 对象同时注册了 exists、getData，当节点被删除时，删除事件对 exists、getData 都有效，但只会调用 watch 一次。

Zookeeper 特性

顺序一致性（Sequential Consistency）：保证客户端操作是按顺序生效的。
原子性（Atomicity）：更新成功或失败，没有部分结果。
单个系统映像：无论连接哪个服务器，客户端都将看到相同的内容。
可靠性：数据的变更不会丢失，除非被客户端覆盖修改。
及时性：保证系统的客户端当时读取到的数据是最新的。

Zookeeper 简介、安装、基本操作

ZooKeeper

分布式协调服务

应用案例

同类产品

单机版安装

客户端连接

服务端状态

CLI-操作指令

Java API

第三方客户端

java

zkClient

curator

zookeeper

PHP

核心概念

session

数据模型

层次空间名称

znode

znode-命名规范

znode-节点类型

znode-数据构成

znode-元数据 stat 结构

Zookeeper 中的时间

访问控制

Watch 监听机制

两类 watch

触发 watch 事件

watch 重要特性

watch 注意事项

Zookeeper 特性

你可能感兴趣的:(Zookeeper 简介、安装、基本操作)