2023.11.18 - hadoop之zookeeper分布式协调服务

1.zookeeper简介

ZooKeeper概念: Zookeeper是一个分布式协调服务的开源框架。本质上是一个分布式的小文件存储系统
ZooKeeper作用: 主要用来解决分布式集群中应用系统的一致性问题。
ZooKeeper结构: 采用树形层次结构，没有目录与文件之分,ZooKeeper树中的每个节点被称为—Znode。且树中的每个节点可以拥有子节点

2.启动和配置环境变量

在远程工具里发送三条命令

[root@nodex ~]# echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
[root@nodex ~]# echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
[root@nodex ~]# source /etc/profile

启动集群

发送3条命令给3台虚拟机

[root@nodex ~]# zkServer.sh start

还可以查看服务状态: [root@node]# zkServer.sh status

关闭zk服务的命令是: [root@node]# zkServer.sh stop

客户端连接

连接服务 方式1:直接连接本地: [root@node1 ~]# zkCli.sh

方式2:连接其他节点: [root@node1 ~]# zkCli.sh -server 节点地址

[root@node1 ~]# zkCli.sh

3.shell命令

查看所有shell命令: help

create [-s] [-e] 节点绝对路径 节点数据: 创建数据节点    注意: -s代表序列化节点    -e代表临时节点

delete 节点绝对路径 [version]: 删除一级节点  注意: 此方式如果有子节点是不能删除的
rmr 节点绝对路径: 删多层除节点(如果有子节点也可以删除)

set 节点绝对路径 data [version]: 设置 /修改节点数据

get 节点绝对路径 [watch]: 获取数据    注意: watch是监听
ls 节点绝对路径  : 查看节点信息        举例: 查看根路径下节点   ls /
ls2 节点绝对路径 : 查看节点详情信息
history: 查看操作历史

quit: 退出

4.节点分类

1. 节点分类: 永久普通节点,临时普通节点,永久序列化节点,临时序列化节点
2. 创建永久普通节点:  create /节点 数据
3. 创建临时普通节点:  create -e /节点 数据
4. 创建永久序列化节点: create -s /节点 数据
5. 创建临时序列化节点: create -e -s /节点 数据
6. 注意: 临时节点不能创建子节点

5.节点属性

每个znode都包含了一系列的属性，通过命令get /节点，可以获得节点的属性 注意: 对于zk来说，每次的变化都会产生一个唯一的事务id，zxid（ZooKeeper Transaction Id）。通过zxid，可以确定更新操作的先后顺序。例如，如果zxid1小于zxid2，说明zxid1操作先于zxid2发生，zxid对于整个zk都是唯一的，即使操作的是不同的znode。 cZxid ：Znode创建的事务id。 ctime ：Znode创建时的时间戳.

mZxid ：Znode被修改的事务id，即每次对当前znode的修改都会更新mZxid。 ​ mtime ：Znode最新一次更新发生时的时间戳.

pZxid ：Znode的子节点列表变更的事务ID，添加子节点或删除子节点就会影响子节点列表 ​ cversion ：子节点进行变更的版本号。添加子节点或删除子节点就会影响子节点版本号

dataVersion：数据版本号，每次对节点进行set操作，dataVersion的值都会增加1（即使设置的是相同的数据），可有效避免了 数据更新时出现的先后顺序问题。 ​ aclVersion : 权限变化列表版本 access control list Version ​ ephemeralOwner : 字面翻译临时节点拥有者，永久节点值为: 0x0，临时节点值为:会话ID (不是0x0的就是临时节点) ​ dataLength : Znode数据长度 ​ numChildren: 当前Znode子节点数量(不包括子子节点）

 

6.ZK集群特点

1. 全局数据一致: 集群中每个服务器保存一份相同的数据副本，client无论连接到哪个服务器，展示的数据都是一致的，这是最重要的特征；

2. 可靠性: 如果消息被其中一台服务器接受，那么将被所有的服务器接受。

3. 顺序性: 包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

4. 数据更新原子性: 一次数据更新要么成功（半数以上节点成功），要么失败，不存在中间状态；

5. 实时性: Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。

7.watch监听机制

在选举atvice时经常也会把设置为临时节点

ZooKeeper中，引入了Watcher机制来实现数据发布/订阅功能，一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使他们能够做出相应的处理。 ZooKeeper允许客户端向服务端注册一个Watcher监听，当服务端的一些事件触发了这个Watcher，那么就会向指定客户端发送一个事件通知来实现分布式的通知功能。

watch监听机制过程: 客户端向服务端注册Watcher     服务端事件发生触发Watcher     客户端回调Watcher得到触发事件情况
Watch监听机制注册格式:  get /节点绝对路径 watch
Watch监听机制特点:
   先注册再触发: Zookeeper中的watch机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知给客户端
   一次性触发: 事件发生触发监听，一个watcher event就会被发送到设置监听的客户端，这种效果是一次性的，后续再次发生同样的事件，不会再次触发。
   异步发送: watcher的通知事件从服务端发送到客户端是异步的。
   通知内容: 通知状态（keeperState），事件类型（EventType）和节点路径（path）