Apache Zookeeper入门1

口水:Zookeeper是我目前接触过Apache开源系统中比较复杂的一个产品，要搞清楚这个东东里面的运作关系还真不是一时半会可以搞定的事，本人目前只略知皮毛之术。

ZooKeeper 是什么？

  ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。
 

ZooKeeper 如何工作？

  ZooKeeper是作为分布式应用建立更高层次的同步(synchronization)、配置管理 (configuration maintenance)、群组(groups)以及名称服务(naming)。在编程上，ZooKeeper设计很简单，所使用的数据模型风格很像文件系统的目录树结构，简单来说，有点类似windows中注册表的结构，有名称，有树节点，有Key(键)/Value(值)对的关系，可以看做一个树形结构的数据库，分布在不同的机器上做名称管理。

   Zookeeper分为2个部分：服务器端和客户端，客户端只连接到整个ZooKeeper服务的某个服务器上。客户端使用并维护一个TCP连接，通过这个连接发送请求、接受响应、获取观察的事件以及发送心跳。如果这个TCP连接中断，客户端将尝试连接到另外的ZooKeeper服务器。客户端第一次连接到ZooKeeper服务时，接受这个连接的 ZooKeeper服务器会为这个客户端建立一个会话。当这个客户端连接到另外的服务器时，这个会话会被新的服务器重新建立。

   启动Zookeeper服务器集群环境后，多个Zookeeper服务器在工作前会选举出一个Leader，在接下来的工作中这个被选举出来的Leader死了，而剩下的Zookeeper服务器会知道这个Leader死掉了，在活着的Zookeeper集群中会继续选出一个Leader，选举出leader的目的是为了可以在分布式的环境中保证数据的一致性。如图所示：

  另外，ZooKeeper 支持watch(观察)的概念。客户端可以在每个znode结点上设置一个观察。如果被观察服务端的znode结点有变更，那么watch就会被触发，这个watch所属的客户端将接收到一个通知包被告知结点已经发生变化。若客户端和所连接的ZooKeeper服务器断开连接时，其他客户端也会收到一个通知，也就说一个Zookeeper服务器端可以对于多个客户端，当然也可以多个Zookeeper服务器端可以对于多个客户端，如图所示：

你还可以通过命令查看出，当前那个Zookeeper服务端的节点是Leader，哪个是Follower，如图所示：

我通过试验观察到 Zookeeper的集群环境最好有3台以上的节点，如果只有2台，那么2台当中不管那台机器down掉，将只会剩下一个leader，那么如果有再有客户端连接上来，将无法工作，并且剩下的leader服务器会不断的抛出异常。内容如下：
java.net.ConnectException: Connection refused
        at sun.nio.ch.Net.connect(Native Method)
        at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:507)
        at java.nio.channels.SocketChannel.open(SocketChannel.java:146)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:347)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:381)
        at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:674)
        at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:611)
2010-11-15 00:31:52,031 – INFO  [QuorumPeer:/0:0:0:0:0:0:0:0:2181:FastLeaderElection@683] – Notification time out: 12800

并且客户端连接时还会抛出这样的异常，说明连接被拒绝，并且等待一个socket连接新的连接，这里socket新的连接指的是zookeeper中的一个Follower。
org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:1000) Opening socket connection to server 192.168.50.211/192.168.50.211:2181  
org.apache.zookeeper.ClientCnxn$SendThread.primeConnection(ClientCnxn.java:908) Socket connection established to 192.168.50.211/192.168.50.211:2181, initiating session  
org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1118) Unable to read additional data from server sessionid 0×0, likely server has closed socket, closing socket connection and attempting reconnect  
org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:1000) Opening socket connection to server localhost/127.0.0.1:2181  
 2010-11-15 13:31:56,626 WARN   org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1120) Session 0×0 for server null, unexpected error, closing socket connection and attempting reconnect  
 

 先写到这里，全面了解Zookeeper不太容易，光看Apache Zookeeper官方的wiki和文档还不能对其有深入的了解，想阅读Zookeeper中的部分源代码。另外，本人目前正在学习和了解ing，欢迎大家与我交流，谢谢。

 

相关文章:
Apache ZooKeeper入门2 
Apache ZooKeeper入门3

–end–

评论

Comment from 张童鞋 
Time 2010年11月22日 at 5:05 下午

我想请问hbase中常常提起的client是指的什么部件，是我自己使用hadoop的jar编写的程序代码还是zookeeper的client。论坛上前辈说由client端路由到region后会有缓存放在client端，可是我没有写缓存代码丫。但是事实效果第2次以上查询确实要比第一次快很多。还有hbase、hadoop、zk他们三者之间的关系是什么样子的。如果大虾您能给俺解释清楚这两个概念问题，小弟就冰天雪地跪谢啦。当然首先还是谢谢您写了那么多好文章，给了我无限多的帮助。

Comment from H.E. 
Time 2010年11月22日 at 11:55 下午

你好,这位同学,我不太明白你说的client到底是说什么?
另外,Hbase/Zookeeper/Hadoop(HDFS) 在我看来是这样的:
对于Hbase来说可以使用Zookeeper和不使用对Hbase进行分布式的锁和一致性管理,以及防止单点失效,
也可以使用Hadoop/HDFS或者不使用对Hbase对数据进行存储.
这些都可以在Hbase的配置文件中进行配置的,用户可以自己做出选择.

例如,是否对Zookeeper进行启用,在Hbase的配置中有这项:
# Tell HBase whether it should manage it’s own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false

是否启动HDFS来存储Hbase的数据,在hbase-default.xml中也有配置选项, hbase.rootdir 这个参数对应对 可以是一个本地的文件目录,也可以是一个hdfs的地址,在配置文件中已经有说明了:
The directory shared by region servers.Should be fully-qualified to include the filesystem to use.E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR

补充一下,当Hbase启动对时候,如果Hbase发现你本地已经启动来Zookeeper服务器,就会直接连接这个已经启动好的Zookeeper，Hbase就不会自己启动一个Zookeeper了,反之如果没有发现Zookeeper服务器启动，Hbase会自己启动一个zookeeper服务器端,前提是根据你的配置而定的是否启动Zookeeper服务.

另外,你说的Client是不是说 Hbase链接Zookeeper的程序,例如: 在Hbase源码中 org.apache.hadoop.hbase.zookeeper包下的程序,就是对Zookeeper链接的.

解释还不够准确,请多多包含,谢谢.

另外,我上述的这些,在这篇文章中解释对非常 非常的详详细细了:
http://hbase.apache.org/docs/r0.20.6/api/overview-summary.html#distributed