Zookeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。
本文将向大家主要介绍Zookeeper的安装与配置。
众所周知,Zookeeper有三种不同的运行环境,包括:单机环境、集群环境和集群伪分布式环境。
在此主要向大家介绍集群环境的安装与配置。
1.Zookeeper的下载与解压
通过后面的链接下载Zookeeper: Zookeeper下载
在此我们下载zookeeper-3.4.5
下载后解压至安装目录下,本文我们解压到目录:/home/haduser/zookeeper
$:tar -xzvf zookeeper-3.4.5.tar.gz
如下图所示:
2.zookeeper的环境变量的配置:
为了今后操作方便,我们需要对Zookeeper的环境变量进行配置,方法如下:
在/etc/profile文件中加入如下的内容:
#set zookeeper environment
export ZOOKEEPER_HOME=/home/haduser/zookeeper/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
3.集群部署:
在Zookeeper集群环境下只要一半以上的机器正常启动了,那么Zookeeper服务将是可用的。因此,集群上部署Zookeeper最好使用奇数台机器,这样如果有5台机器,只要3台正常工作则服务将正常使用。
下面我们将对Zookeeper的配置文件的参数进行设置:
进入zookeeper-3.4.5/conf:
$:cp zoo_sample.cfg zoo.cfg
$:vim zoo.cfg
可参考下图配置:
注意上图的配置中master,slave1分别为主机名,具体的对应的主机可参见之前的Hadoop的安装与配置的博文。
在上面的配置文件中"server.id=host:port:port"中的第一个port是从机器(follower)连接到主机器(leader)的端口号,第二个port是进行leadership选举的端口号。
接下来在dataDir所指定的目录下创建一个文件名为myid的文件,文件中的内容只有一行,为本主机对应的id值,也就是上图中server.id中的id。例如:在服务器1中的myid的内容应该写入1。
4.远程复制分发安装文件
接下来将上面的安装文件拷贝到集群中的其他机器上对应的目录下:
haduser@master:~/zookeeper$ scp -r zookeeper-3.4.5/ slave1:/home/haduser/zookeeper/zookeeper-3.4.5
haduser@master:~/zookeeper$ scp -r zookeeper-3.4.5/ slave2:/home/haduser/zookeeper/zookeeper-3.4.5
拷贝完成后修改对应的机器上的myid。例如修改slave1中的myid如下:
haduser@slave1:~/zookeeper/zookeeper-3.4.5$ echo "2" > data/myid
haduser@slave1:~/zookeeper/zookeeper-3.4.5$ cat data/myid
2
5.启动ZooKeeper集群
在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:
haduser@master:~/zookeeper/zookeeper-3.4.5$ bin/zkServer.sh start
haduser@slave1:~/zookeeper/zookeeper-3.4.5$ bin/zkServer.sh start
haduser@slave2:~/zookeeper/zookeeper-3.4.5$ bin/zkServer.sh start
如下图所示:
其中,QuorumPeerMain是zookeeper进程,启动正常。
如上依次启动了所有机器上的Zookeeper之后可以通过ZooKeeper的脚本来查看启动状态,包括集群中各个结点的角色(或是Leader,或是Follower),如下所示,是在ZooKeeper集群中的每个结点上查询的结果:
通过上面状态查询结果可见,slave1是集群的Leader,其余的两个结点是Follower。
另外,可以通过客户端脚本,连接到ZooKeeper集群上。对于客户端来说,ZooKeeper是一个整体(ensemble),连接到ZooKeeper集群实际上感觉在独享整个集群的服务,所以,你可以在任何一个结点上建立到服务集群的连接,例如:
6.停止zookeeper进程:zookeeper-3.4.3/bin/zkServer.sh stop
至此,Zookeeper集群安装大功告成!