1) ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理
2)ZooKeeper提供给窖户端监控存储在zk内部数据的功能,从而可以达到基于数据的集群管理。诸如:统一命名服务( dubbo)、分布式配置管理(sor的配置集中管理)、分布式消息队列(sub/pub)、分布式锁、分布式协调等功能。
1)Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
2)集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
3)全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
4)更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行。
5)数据更新原子性,一次数据更新要么成功,要么失败。
6)实时性,在一定时间范围内,Client能读到最新数据。
(1)安装 JDK
(2)拷贝 apache-zookeeper-3.5.7-bin.tar.gz安装 包 到 Linux系统下
(3)解压 到指定目录
# 解压目录可自行指定
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /home/
(4)修改名称
mv pache-zookeeper-3.5.7-bin/ zookeeper 3.5.7/
(1) 将 /home/zookeeper-3.5.7/conf这个 路径下的 zoo_sample.cfg修改为 zoo.cfg
mv zoo_sample.cfg zoo.cfg
(2) 在 /home/zookeeper-3.5.7/这个 目录上创建 zkData文件夹
mkdir zkData
(3) 打开 zoo.cfg文件 ,修改 dataDir路径
修改如下内容:
dataDir=/home/zookeeper-3.5.7/zkData
(1)启动 Zookeeper
bin/zkServer.sh start
bin/zkCli.sh
(5)退出客户端
quit
(6)停止 Zookeeper
bin/zkServer.sh stop
Zookeeper中的配置文件zoo.cfg中参数含义解读如下:
注意: 默认的tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录。
(1)在 /home/zookeeper-3.5.7/zkData目录下创建一个myid的文件
注意:
添加 myid文件,一定要在 Linux里面创建,在 notepad++里面很可能乱码(1) 打开 zoo.cfg文件
****增加如下配置****
#######################
server.2=ip1:2888:3888
server.3=ip2:2888:3888
server.4=ip3:2888:3888
(2)配置参数解读
server.A=B:C:D
A
B
C
D
安装奇数台
生产经验:
⚫ 10台 服务器: 3台 zk
⚫ 20台 服务器: 5台 zk
⚫ 100台 服务器: 11台 zk
⚫ 200台 服务器: 11台 zk
服务器台数多:好处,提高可靠性;坏处:提高通信延时
(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。
(1)当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
• 服务器初始化启动。
• 服务器运行期间无法和Leader保持连接。
(2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:
• 集群中本来就已经存在一个Leader。
对于第一种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连接,并进行状态同步即可。
• 集群中确实不存在Leader。
假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。
(EPOCH,ZXID,SID ) (EPOCH,ZXID,SID ) (EPOCH,ZXID,SID )
SID为1、2、4的机器投票情况: (1,8,1) (1,8,2) (1,7,4)
选举Leader规则: ①EPOCH大的直接胜出②EPOCH相同,事务id大的胜出③事务id相同,服务器id大的胜出
半数机制 ,超过半数的投票通过,即通过。
(1)第一次启动选举规则
投票过半数时,服务器 id大的胜出
(2)第二次启动选举规则
① EPOCH大的直接胜出
② EPOCH相同,事务 id大的胜出
③ 事务id相同,服务器 id大的胜出
在脚本中编写如下内容:
#!/bin/bash
case $1 in
"start") {
for i in ip1 ip2 ip3
do
echo ----------------zookeeper $i 启动--------------------------
ssh $i "/home/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop") {
for i in ip1 ip2 ip3
do
echo ---------------zookeeper $i 停止--------------------------
ssh $i "/home/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status") {
for i in ip1 ip2 ip3
do
echo ---------------zookeeper $i 状态--------------------------
ssh $i "/home/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac
# ip1 ip2 ip3分别为服务器的ip地址或主机名
chmod u+x zk.sh
zk.sh start
zk.sh stop
zk.sh status
命令基本语法 | 功能描述 |
---|---|
help | 显示所有操作命令 |
ls path | 使用 ls 命令来查看当前 znode 的子节点 [可监听] |
ls path | -w 监听子节点变化 |
ls path | -s 附加次级信息 |
create | 普通创建 |
create | -s 含有序列 |
create | -e 临时(重启或者超时消失) |
get path | 获得节点的值 [可监听] |
get path | -w 监听节点内容变化 |
get path | -s 附加次级信息 |
set | 设置节点的具体值 |
stat | 查看节点状态 |
delete | 删除节点 |
deleteall | 递归删除节点 |
(1) czxid 创建节点的事务 zxid
每次修改ZooKeeper状态都会 产生一个 ZooKeeper事务 ID。事务 ID是 ZooKeeper中所有修改总的次序。每 次 修改都有唯一的 zxid,如果 zxid1小于 zxid2,那么 zxid1在 zxid2之前发生。
(2) ctime znode被创建的毫秒数(从 1970年开始)
(3) mzxid znode最后更新的事务 zxid
(4) mtime znode最后修改的毫秒数(从 1970年开始)
(5) pZxid znode最后更新的子节点 zxid
(6)cversion:znode 子节点变化号,znode 子节点修改次数
(7)dataversion:znode 数据变化号
(8)aclVersion:znode 访问控制列表的变化号
(9)ephemeralOwner:如果是临时节点,这个是znode 拥有者的session id。如果不是临时节点则是0。
(10)dataLength:znode 的数据长度
(11)numChildren:znode 子节点数量
(1)持久化目录节点
客户端与Zookeeper断开连接后,该节点依旧存在
(2)持久化顺序编号目录节点
客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号
(3)临时目录节点
客户端与Zookeeper断开连接后,该节点被删除
(4)临时顺序编号目录节点
客户端与Zookeeper 断开连接后, 该节点被删除, 只是Zookeeper给该节点名称进行顺序编号。
(1)先创建一个普通的根节点 /sanguo/weiguo
(2) 创建带序号的节点
(1) 创建短暂的不带序号的节点
(2) 创建短暂的带序号的节点
(3)在当前客户端是能查看到的
(4)退出当前客户端然后再重启客户端
(5)再次查看根目录下短暂节点已经删除
(5)修改节点数据值
1)首先要有一个main()线程
2)在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet),一个负责监听(listener)。
3)通过connect线程将注册的监听事件发送给Zookeeper。
4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。
6)listener线程内部调用了process()方法。
1)监听节点数据的变化
get path [watch]
2)监听子节点增减的变化
ls path [watch]
(1)在ip2 主机上注册监听/sanguo 节点数据变化
(2)在ip3 主机上修改/sanguo 节点的数据
(3)观察ip3 主机收到数据变化的监听
注意:在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。
(1)在ip3 主机上注册监听/sanguo 节点的子节点变化
(2) 在 ip2 主机 /sanguo节点上创建子节点
(3) 观察 ip3主机收到子节点变化的监听
注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。
前提:保证ip1、 ip2、 ip3服务器上 Zookeeper集群服务端启动。
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0modelVersion>
<groupId>com.demogroupId>
<artifactId>zookeeperdemoartifactId>
<version>1.0-SNAPSHOTversion>
<properties>
<maven.compiler.source>8maven.compiler.source>
<maven.compiler.target>8maven.compiler.target>
properties>
<dependencies>
<dependency>
<groupId>junitgroupId>
<artifactId>junitartifactId>
<version>4.13.2version>
dependency>
<dependency>
<groupId>log4jgroupId>
<artifactId>log4jartifactId>
<version>1.2.17version>
dependency>
<dependency>
<groupId>org.apache.zookeepergroupId>
<artifactId>zookeeperartifactId>
<version>3.5.7version>
dependency>
dependencies>
project>
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern =%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
package com.demo.zk;
public class ZkClient {}
package com.demo.zk;
import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.util.List;
public class ZkClient {
// 注意:逗号前后不能有空格
private String connectString = "192.168.220.128:2181,192.168.220.129:2181,192.168.220.130:2181";
private int sessionTimeout = 2000;
private ZooKeeper zkClient;
@Before
public void init() throws IOException {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
// 收到事件通知后的回调函数(用户的业务逻辑)
System.out.println(watchedEvent.getType() + ""----"
+ watchedEvent.getPath());
List<String> children = null;
try {
children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
}
}
// 参数1:要创建的节点的路径
// 参数2:节点数据
// 参数3:节点权限
// 参数4:节点类型
@Test
public void create() throws InterruptedException, KeeperException {
String nodeCreated = zkClient.create("/demo", "ss.avi".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
测试:在 ip1 的 zk客户端上查看创建节点情况
[zk: localhost:2181(CONNECTED) 0] get -s /demo
ss.avi
// 获取子节点
@Test
public void getChildren() throws InterruptedException, KeeperException {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
// 延时
Thread.sleep(Long.MAX_VALUE);
}
// 判断znode是否存在
@Test
public void exist() throws InterruptedException, KeeperException {
Stat stat = zkClient.exists("/demo1", false);
System.out.println(stat == null ? "not exist": "exist");
}
package com.demo.zk;
import org.apache.zookeeper.*;
import java.io.IOException;
public class DistributeServer {
private String connectString = "ip1:2182,ip2:2182,ip3:2182";
private int sessionTimeout = 2000;
ZooKeeper zooKeeper = null;
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
DistributeServer server = new DistributeServer();
// 1 获取zk连接
server.getConnect();
// 2 注册服务器
server.regist(args[0]);
// 3 启动业务逻辑
server.business();
}
private void business() throws InterruptedException {
Thread.sleep(Long.MAX_VALUE);
}
private void regist(String hostname) throws InterruptedException, KeeperException {
String s = zooKeeper.create("/servers/" + hostname, hostname.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname + " is online");
}
private void getConnect() throws IOException {
zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
}
});
}
}
package com.demo.zk;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
public class DistributeClient {
private String connectString = "ip1:2182,ip2:2182,ip3:2182";
private int sessionTimeout = 2000;
private ZooKeeper zk;
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
DistributeClient client = new DistributeClient();
// 1. 获取zk连接
client.getConnect();
// 2. 监听servers子结点的增加和删除
client.getServerList();
// 3. 业务逻辑
client.business();
}
private void business() throws InterruptedException {
Thread.sleep(Long.MAX_VALUE);
}
// 获取服务器列表信息
private void getServerList() throws InterruptedException, KeeperException {
// 1 获取服务器 子节点信息,并且对父节点进行监听
List<String> children = zk.getChildren("/servers", true);
// 2 存储服务器信息列表
ArrayList<String> servers = new ArrayList<>();
// 3 遍历所有节点,获取节点中的主机名称信息
for (String child : children) {
byte[] data = zk.getData("/servers/" + child, false, null);
servers.add(new String(data));
}
// 4 打印服务器列表信息
System.out.println(servers);
}
// 创建到 zk 的客户端连接
private void getConnect() throws IOException {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
// 再次启动监听
try {
getServerList();
} catch (InterruptedException e) {
e.printStackTrace();
} catch (KeeperException e) {
e.printStackTrace();
}
}
});
}
}
package com.demo.zk;
import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import java.io.IOException;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.CountDownLatch;
public class DistributedLock {
// zookeeper server列表
private String connectString = "ip1:2182,ip2:2182,ip3:2182";
// 超时时间
private final int sessionTimeout = 2000;
private final ZooKeeper zk;
// 当前client等待的子结点
private String waitPath;
// 当前client创建的子结点
private String currentMode ;
// ZooKeeper连接
private CountDownLatch connectLatch = new CountDownLatch(1);
// zookeeper节点等待
private CountDownLatch waitLatch = new CountDownLatch(1);
public DistributedLock() throws IOException, InterruptedException, KeeperException {
// 获取连接
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
// connectLatch 如果连接上zk 可以释放
if (watchedEvent.getState() == Event.KeeperState.SyncConnected) {
connectLatch.countDown();
}
// waitLatch 需要释放
// 发生了waitPath的删除事件
if (watchedEvent.getType() == Event.EventType.NodeDeleted && watchedEvent.getPath().equals(waitPath)) {
waitLatch.countDown();
}
}
});
// 等待zk正常连接后,往下走程序
connectLatch.await();
// 判断根节点/locks是否存在
Stat stat = zk.exists("/locks", false);
if (stat == null) {
// 创建一个根节点
zk.create("/locks", "locks".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
}
// 对zk加锁
public void zkLock() {
// 创建对应的临时带序号节点
try {
currentMode = zk.create("/locks/" + "seq-", null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
// 判断创建的节点是否是最小的序号节点,如果获取到锁;如果不是,监听序号前一个节点
List<String> children = zk.getChildren("/locks", false);
// 如果children 只有一个值,那就直接获取锁;如果有多个节点,需要判断,谁最小
if (children.size() == 1) {
return;
} else {
Collections.sort(children);
// 获取节点名称
String thisNode = currentMode.substring("/locks/".length());
// 通过seq-00000000获取该节点在children集合的位置
int index = children.indexOf(thisNode);
// 判断
if (index == -1) {
System.out.println("数据异常");
} else if (index == 0){
// 就一个节点,可以获取锁
return;
} else {
// 需要监听前一个节点
waitPath = "/locks/" + children.get(index - 1);
zk.getData(waitPath, true, null);
// 等待监听
waitPath.wait();
return;
}
}
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
// 解锁
public void unZkLock() {
// 删除节点
try {
zk.delete(currentMode, -1);
} catch (InterruptedException e) {
e.printStackTrace();
} catch (KeeperException e) {
e.printStackTrace();
}
}
}
package com.demo.zk;
import org.apache.zookeeper.KeeperException;
import java.io.IOException;
public class DistributedLockTest {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
final DistributedLock lock1 = new DistributedLock();
final DistributedLock lock2 = new DistributedLock();
new Thread(new Runnable() {
@Override
public void run() {
try {
lock1.zkLock();
System.out.println("线程1 启动,获取到锁");
Thread.sleep(5 * 1000);
lock1.unZkLock();
System.out.println("线程2 释放锁");
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
try {
lock2.zkLock();
System.out.println("线程1 启动,获取到锁");
Thread.sleep(5 * 1000);
lock2.unZkLock();
System.out.println("线程2 释放锁");
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
}
}
(1) 会话连接是异步的,需要自己去处理。比如使用 CountDownLatch
(2) Watch需要重复注册,不然就不能生效
(3) 开发的复杂性还是比较高的
(4) 不支持多节点删除和创建。需要自己去递归
<dependency>
<groupId>org.apache.curatorgroupId>
<artifactId>curator-frameworkartifactId>
<version>5.1.0version>
dependency>
<dependency>
<groupId>org.apache.curatorgroupId>
<artifactId>curator-recipesartifactId>
<version>5.1.0version>
dependency>
<dependency>
<groupId>org.apache.curatorgroupId>
<artifactId>curator-clientartifactId>
<version>5.1.0version>
dependency>
package com.demo.zk;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.framework.recipes.locks.InterProcessMutex;
import org.apache.curator.retry.ExponentialBackoffRetry;
public class CuratorLockTest {
public static void main(String[] args) {
// 创建分布式锁1
InterProcessMutex lock1 = new InterProcessMutex(getCuratorFramework(), "/locks");
// 创建分布式锁2
InterProcessMutex lock2 = new InterProcessMutex(getCuratorFramework(), "/locks");
new Thread(new Runnable() {
@Override
public void run() {
try {
lock1.acquire();
System.out.println("线程1 获取到锁");
lock1.acquire();
System.out.println("线程1 获取到锁");
Thread.sleep(5 * 1000);
lock1.release();
System.out.println("线程1 释放锁");
lock1.release();
System.out.println("线程1 再次释放锁");
} catch (Exception e) {
e.printStackTrace();
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
try {
lock2.acquire();
System.out.println("线程2 获取到锁");
lock2.acquire();
System.out.println("线程2 获取到锁");
Thread.sleep(5 * 1000);
lock2.release();
System.out.println("线程2 释放锁");
lock2.release();
System.out.println("线程2 再次释放锁");
} catch (Exception e) {
e.printStackTrace();
}
}
}).start();
}
private static CuratorFramework getCuratorFramework() {
// 重试策略,初试时间 3 秒,重试 3 次
RetryPolicy policy = new ExponentialBackoffRetry(3000, 3); policy = new ExponentialBackoffRetry(3000, 3);
CuratorFramework client = CuratorFrameworkFactory.builder().connectString("ip1:2182,ip2:2182,ip3:2182").connectionTimeoutMs(2000)
.sessionTimeoutMs(2000).retryPolicy(policy).build();
// 启动客户端
client.start();
return client;
}
}