一步一步学Hadoop(之ZooKeper)

1.Zookeeper基本概念

1.1Zookeeper是什么?

        ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper。

     Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务,ZooKeeper是以Fast Paxos算法为基础,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。


1.2Zookeeper能帮我们做什么?

⑴大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)

⑵目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制

⑶协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器

⑷ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用

1.3Zookeeper能帮我们做什么?

⑴Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.

⑵HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等.


你可能感兴趣的:(一步一步学Hadoop(之ZooKeper))