Zookeeper的学习和使用

Zookeeper的学习和使用

本文是基于CentOS 7.3系统环境，进行Zookeeper的学习和使用

• CentOS 7.3

---

1. Zookeeper简介

1.1 什么是Zookeeper

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

1.2 Zookeeper工作机制

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应

1.3 Zookeeper特点

1. Zookeeper：一各领导者（Leader），多个跟随者（Follower）组成的集群
2. 集群中只要有半数以上节点存活，Zookeeper集群就能正常服务，所以zookeeper适合安装奇数台服务器
3. 全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的
4. 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
5. 数据更新原子性，一次数据更新要么成功，要么失败
6. 实时性，在一定时间范围内，client能读到最新数据

1.4 Zookeeper应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等

1.4.1 统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命令，便于识别

1.4.2 统一配置管理

1. 分布式环境下，配置文件同步非常常见
   （1）一般要求一个集群中，所有节点的配置信息是一致的，比如kafka集群；
   （2）对配置文件修改后，希望能够快速同步到各个节点上。
2. 配置管理可交由zookeeper实现
   （1）可将配置信息写入Zookeeper上的一个Znode；
   （2）各个客户端服务器监听这个Znode；
   （3）一旦Znode中的数据被修改，Zookeeper将通知各个客户端服务器。

1.4.3 统一集群管理

1. 分布式环境下，实时掌握每个节点的状态是必要的
   （1）可根据节点实时状态做出一些调整。
2. Zookeeper可以实现实时监控节点状态变化
   （1）可将节点信息写入Zookeeper上的一个Znode；
   （2）监听这个Znode可获取它的实时状态变化。

1.4.4 服务器节点动态上下线

客户端能实时洞察到服务器上下线的变化

1.4.5 软负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求

1.5 Zookeeper选举机制

1. 半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
2. Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
3. 以一个简单的例子来说明整个选举的过程。
   假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。
   （1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。
   （2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。
   （3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。
   （4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。
   （5）服务器5启动，同4一样当小弟。

1.6 Zookeeper节点类型

• 持久
  客户端和服务端断开连接后，创建的节点不删除
• 短暂
  客户端和服务端断开连接后，创建的节自己删除
• 顺序编号
  创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护；在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

1. 持久化目录节点：客户端与zookeeper断开连接后，该节点依旧存在
2. 持久化顺序编号目录节点：客户端与zookeeper断开连接后，该节点依旧存在，只是zookeeper在创建该节点时进行顺序编号
3. 临时目录节点：客户端与zookeeper断开连接后，该节点被删除
4. 临时顺序编号目录节点：客户端与zookeeper断开连接后，该节点被删除，只是zookeeper在创建该节点时进行顺序编号

1.7 Zookeeper监听器原理

1.7.1 常见的监听类型

1. 监听节点数据的变化

get path [watch]

2. 监听子节点增减的变化

ls path [watch]

1.7.2 监听器原理详解

1. 首先要有一个main()线程
2. 在main()线程中创建zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connect），一个负责监听（listener）
3. 通过connect线程将注册的监听事件发送给zookeeper
4. 在zookeeper的注册监听器列表中将注册的监听事件添加到列表中
5. zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程
6. listener线程内部调用了process()方法

1.8 Zookeeper写数据原理

2. Zookeeper分布式安装

2.1 集群规划

hostname	CPU	内存	组件	IP地址
hadoop101	2	4G	Zookeeper	192.168.1.100
hadoop104	2	4G	Zookeeper	192.168.1.101
hadoop105	2	4G	Zookeeper	192.168.1.102

2.2 解压安装

三个节点下分别执行

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

2.3 配置服务器编号

hadoop101 节点下

mkdir -p zkData
cd zkData
vi myid
# 添加如下信息
1

hadoop104 节点下

mkdir -p zkData
cd zkData
vi myid
# 添加如下信息
4

hadoop105 节点下

mkdir -p zkData
cd zkData
vi myid
# 添加如下信息
5

2.4 配置zoo.cfg文件

mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 修改如下信息
dataDir=/opt/module/zookeeper-3.4.10/zkData
# 添加如下信息
server.1=hadoop101:2888:3888
server.4=hadoop104:2888:3888
server.5=hadoop105:2888:3888

2.5 启动集群

三个节点下分别执行

bin/zkServer.sh start

2.6 查看集群状态

三个节点下分别执行

bin/zkServer.sh status

3. Zookeeper的使用

3.1 客户端命令行操作

基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用ls命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建
create -s	含有序列
create -e	临时创建（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点

1. 启动客户端

bin/zkCli.sh

2. 查看当前znode所包含的内容

ls /

3. 查看当前znode节点详细数据

ls2 /

4. 创建znode节点

create /sanguo "zhugeliang"

5. 获取znode节点的值

get /sanguo 
get /sanguo/shuguo 

6. 创建短暂的znode节点

create -e /sanguo/wuguo "sunquan"

7. 退出客户端

quit

8. 创建带顺序号的znode节点

create -s /sanguo/weiguo "caocao"

9. 修改znode节点的值

set /sanguo "diaochan"

10. 监听znode节点的值的变化（只能监听一次）

get /sanguo watch

11. 监听znode节点的子节点变化（只能监听一次）

ls /sanguo watch

12. 删除znode节点

delete /sanguo/wuguo 

13. 递归删除znode节点

rmr /sanguo 

---