ZooKeeper-- 管理分布式环境中的数据

1.随着分布式应用的不断深入，需要对集群管理逐步透明化。监控集群和作业状态；可以充分的利用ZK的独有特性，熟悉程度决定应用高度

2.Service端具有fast fail特性，非常健壮，无单点，不超过半数Server挂掉不会影响提供服务

3.zookeeper名字空间由节点znode构成，其组织方式类似于文件系统， 其各个节点相当于目录和文件，通 过路径作为唯一标示。与文件系统不同的是，每个节点具有与之对用的数据内容，同时也可以具有子节点

4.ZK用于存储协调数据，如状态、配置、位置信息等。每个节点存储的数据量很小KB级别

 

5.节点维护一个状态stat结构（包括数据变化的版本号、ACL变化、时间戳），以允许缓存验证与协调更新。每当节点数据内容改变，多一个版本号类似Hbase。客户端获取数据的同时也会获取数据版本号，节点的数据内容以原子方式读写。节点具有一个访问控制列表来约束访问操作，即具有权限控制

 

6.Watches:
Zk对Node的CRUD都可以触发监听
watch事件是一次性触发器，当wacht监视的数据发生变化，通知设置了该watch的clietn，即wacther

watch事件是异步发送至观察者

wacth是一次性触发的并且在获取watch事件和设置新watch事件之间有延迟，所以有可能不能可靠的观察到节点的每一次变化

客户端监视一个节点，总是先获取watch事件再发现节点的数据变化

watch事件的顺序对应于ZK服务所见的数据更新的顺序

 

7.ZK在hadoop平台上的典型应用

storm集群：Zk作为nimbus(master)和supervisor(slave)的中间枢纽，保存strom集群和作业的所有信息。并负责nimbus和supervisor的全部通信
Hbase集群：Zk作为协调器，为hbase提供了稳定服务和failover机制，HRegionServer也会把自己以Ephemeral（临时节点）方式注入到ZK中，使得Hmaster可以随时感知到各个HRegionServer的健康状态（可用于监控RegionServer）此外Zk也避免了HMaster的单点问题

应用三大块：
strom应用开发，storm集群监控
MR应用开发
HBase应用开发

 

8.流行的场景应用：
分布式配置管理：
分布式订阅即所谓的配置管理，顾名思义就是将数据发布到ZK节点上，共订阅者动态的获取数据，实现配置信息的集中式管理和动态更新，例如全局的配置信息，地址列表等就非常适合使用

NameService
这个主要是作为分布式命名的服务，通过调用Zk的create node api，能够很容易的创建一个全局唯一的path，这个path就可以作为一个名称

分布式通知/协调
Zk中特有的watcher注册与异步通知机制，能够很好的实现分布式环境下不同系统之间的通知于协调，实现对数据变更的实时处理。
使用方法通常是不同系统都对ZK上同一个znode进行watch，监听znode的变化（包括znode本身内容及子节点）其中一个系统update了znode那么另一个系统能够收到通知，并作出相应处理

分布式锁
这个主要得益于ZK为我们保证了数据的强一致性，即用户只要相信每时每刻，ZK集群中任意节点上的相同znode的数据时一定相同的。锁服务可以分为两大类：1.保持独占 2.控制时序

Hbase Master选举是ZK经典使用场景

   Znode

Znode    Znode维护着数据、ACL（access control list，访问控制列表） 、时间戳等交换版本号等数据结构，它通过对这些数据的管理来让缓存生效并且令协调更新。每当Znode中的数据更新后它所维护的版本号将增加，这非常类似于数据库中计数器时间戳的操作方式。

另外Znode还具有原子性操作的特点：命名空间中，每一个Znode的数据将被原子地读写。读操作将读取与Znode相关的所有数据，写操作将替换掉所有的数据。除此之外，每一个节点都有一个访问控制列表，这个访问控制列表规定了用户操作的权限。

    ZooKeeper中同样存在临时节点。这些节点与session同时存在，当session生命周期结束，这些临时节点也将被删除。临时节点在某些场合也发挥着非常重要的作用

 

     Watch机制

 

    Watch机制就和单词本身的意思一样，看。看什么？具体来讲就是某一个或者一些Znode的变化。官方给出的定义：一个Watch事件是一个一次性的触发器，当被设置了Watch的数据发生了改变的时候，则服务器将这个改变发送给设置了Watch的客户端，以便通知它们。

Watch机制主要有以下三个特点：

  1 一次性的触发器（one-time trigger）

    当数据改变的时候，那么一个Watch事件会产生并且被发送到客户端中。但是客户端只会收到一次这样的通知，如果以后这个数据再次发生改变的时候，之前设置Watch的客户端将不会再次收到改变的通知，因为Watch机制规定了它是一个一次性的触发器。

  2 发送给客户端

    这个表明了Watch的通知事件是从服务器发送给客户端的，是异步的，这就表明不同的客户端收到的Watch的时间可能不同，但是ZooKeeper有保证：当一个客户端在看到Watch事件之前是不会看到结点数据的变化的。例如：A=3，此时在上面设置了一次Watch，如果A突然变成4了，那么客户端会先收到Watch事件的通知，然后才会看到A=4。

  3被设置Watch的数据

    这表明了一个结点可以变换的不同方式。一个Znode变化方式有两种，结点本身数据的变化以及结点孩子的变化。因此Watch也可以设置为这个Znode的结点数据，当然也可以设置为Znode结点孩子。

 

     使用API来访问ZooKeeper

    API访问ZooKeeper才是客户端主要的使用手段，通过在客户端编写丰富多彩的程序，来达到对ZooKeeper的利用。这里给出一个简单的例子：（深入的还没能力给出啊，例子是从网上找的很清晰明了）

 

1. import java.io.IOException;
2.
3. import org.apache.zookeeper.CreateMode;
4. import org.apache.zookeeper.KeeperException;
5. import org.apache.zookeeper.Watcher;
6. import org.apache.zookeeper.ZooDefs.Ids;
7. import org.apache.zookeeper.ZooKeeper;
8.
9. public class demo {
10.     // 会话超时时间，设置为与系统默认时间一致
11.     private static final int SESSION_TIMEOUT=30000;
12.    
13.     // 创建 ZooKeeper 实例
14.     ZooKeeper zk;
15.    
16.     // 创建 Watcher 实例
17.     Watcher wh=new Watcher(){
18.            public void process(org.apache.zookeeper.WatchedEvent event)
19.            {
20.                    System.out.println(event.toString());
21.            }
22.     };
23.    
24.     // 初始化 ZooKeeper 实例
25.     private void createZKInstance() throws IOException
26.     {             
27.            zk=new ZooKeeper("localhost:2181",demo.SESSION_TIMEOUT,this.wh);
28.           
29.     }
30.    
31.     private void ZKOperations() throws IOException,InterruptedException,KeeperException
32.     {
33.            System.out.println("\n1. 创建 ZooKeeper 节点 (znode ： zoo2, 数据： myData2 ，权限： OPEN_ACL_UNSAFE ，节点类型： Persistent");
34.            zk.create("/zoo2","myData2".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
35.           
36.            System.out.println("\n2. 查看是否创建成功： ");
37.            System.out.println(new String(zk.getData("/zoo2",false,null)));
38.                           
39.            System.out.println("\n3. 修改节点数据 ");
40.            zk.setData("/zoo2", "shenlan211314".getBytes(), -1);
41.           
42.            System.out.println("\n4. 查看是否修改成功： ");
43.            System.out.println(new String(zk.getData("/zoo2", false, null)));
44.                           
45.            System.out.println("\n5. 删除节点 ");
46.            zk.delete("/zoo2", -1);
47.           
48.            System.out.println("\n6. 查看节点是否被删除： ");
49.            System.out.println(" 节点状态： ["+zk.exists("/zoo2", false)+"]");
50.     }
51.    
52.     private void ZKClose() throws  InterruptedException
53.     {
54.            zk.close();
55.     }
56.    
57.     public static void main(String[] args) throws IOException,InterruptedException,KeeperException {
58.            demo dm=new demo();
59.            dm.createZKInstance( );
60.            dm.ZKOperations();
61.            dm.ZKClose();
62.     }
63.}

 

 

 

此类包含两个主要的 ZooKeeper 函数，分别为 createZKInstance （）和 ZKOperations （）。其中 createZKInstance （）函数负责对 ZooKeeper 实例 zk 进行初始化。 ZooKeeper 类有两个构造函数，我们这里使用  “ ZooKeeper （ String connectString, ， int sessionTimeout, ， Watcher watcher ）”对其进行初始化。因此，我们需要提供初始化所需的，连接字符串信息，会话超时时间，以及一个 watcher 实例。 17 行到 23 行代码，是程序所构造的一个 watcher 实例，它能够输出所发生的事件。

 

    ZKOperations （）函数是我们所定义的对节点的一系列操作。它包括：创建 ZooKeeper 节点（ 33 行到 34 行代码）、查看节点（ 36 行到 37 行代码）、修改节点数据（ 39 行到 40 行代码）、查看修改后节点数据（ 42 行到 43 行代码）、删除节点（ 45 行到 46 行代码）、查看节点是否存在（ 48 行到 49 行代码）。另外，需要注意的是：在创建节点的时候，需要提供节点的名称、数据、权限以及节点类型。此外，使用 exists 函数时，如果节点不存在将返回一

 

个 null 值。

 

已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐

• —软件人才免语言低担保 赴美带薪读研！—