Zookeeper集群环境安装过程详解

Zookeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。

本文将向大家主要介绍Zookeeper的安装与配置。

众所周知,Zookeeper有三种不同的运行环境,包括:单机环境、集群环境和集群伪分布式环境。


在此主要向大家介绍集群环境的安装与配置。

1.Zookeeper的下载与解压

     通过后面的链接下载Zookeeper:    Zookeeper下载

在此我们下载zookeeper-3.4.5

下载后解压至安装目录下,本文我们解压到目录:/home/haduser/zookeeper

$:tar -xzvf zookeeper-3.4.5.tar.gz

如下图所示:

Zookeeper集群环境安装过程详解_第1张图片


2.zookeeper的环境变量的配置:

为了今后操作方便,我们需要对Zookeeper的环境变量进行配置,方法如下:

在/etc/profile文件中加入如下的内容:

#set zookeeper environment

export ZOOKEEPER_HOME=/home/haduser/zookeeper/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf


3.集群部署:

在Zookeeper集群环境下只要一半以上的机器正常启动了,那么Zookeeper服务将是可用的。因此,集群上部署Zookeeper最好使用奇数台机器,这样如果有5台机器,只要3台正常工作则服务将正常使用。

下面我们将对Zookeeper的配置文件的参数进行设置:

进入zookeeper-3.4.5/conf:

$:cp zoo_sample.cfg zoo.cfg

$:vim zoo.cfg

可参考下图配置:

Zookeeper集群环境安装过程详解_第2张图片

注意上图的配置中master,slave1分别为主机名,具体的对应的主机可参见之前的Hadoop的安装与配置的博文。

在上面的配置文件中"server.id=host:port:port"中的第一个port是从机器(follower)连接到主机器(leader)的端口号,第二个port是进行leadership选举的端口号。


接下来在dataDir所指定的目录下创建一个文件名为myid的文件,文件中的内容只有一行,为本主机对应的id值,也就是上图中server.id中的id。例如:在服务器1中的myid的内容应该写入1。


4.远程复制分发安装文件

接下来将上面的安装文件拷贝到集群中的其他机器上对应的目录下:


haduser@master:~/zookeeper$ scp -r zookeeper-3.4.5/ slave1:/home/haduser/zookeeper/zookeeper-3.4.5

haduser@master:~/zookeeper$ scp -r zookeeper-3.4.5/ slave2:/home/haduser/zookeeper/zookeeper-3.4.5


拷贝完成后修改对应的机器上的myid。例如修改slave1中的myid如下:

haduser@slave1:~/zookeeper/zookeeper-3.4.5$ echo "2" > data/myid
haduser@slave1:~/zookeeper/zookeeper-3.4.5$ cat data/myid 
2


5.启动ZooKeeper集群

在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:

  haduser@master:~/zookeeper/zookeeper-3.4.5$ bin/zkServer.sh start

  haduser@slave1:~/zookeeper/zookeeper-3.4.5$ bin/zkServer.sh start

  haduser@slave2:~/zookeeper/zookeeper-3.4.5$ bin/zkServer.sh start


如下图所示:

Zookeeper集群环境安装过程详解_第3张图片


其中,QuorumPeerMain是zookeeper进程,启动正常。

如上依次启动了所有机器上的Zookeeper之后可以通过ZooKeeper的脚本来查看启动状态,包括集群中各个结点的角色(或是Leader,或是Follower),如下所示,是在ZooKeeper集群中的每个结点上查询的结果:

Zookeeper集群环境安装过程详解_第4张图片


Zookeeper集群环境安装过程详解_第5张图片


Zookeeper集群环境安装过程详解_第6张图片


通过上面状态查询结果可见,slave1是集群的Leader,其余的两个结点是Follower。

另外,可以通过客户端脚本,连接到ZooKeeper集群上。对于客户端来说,ZooKeeper是一个整体(ensemble),连接到ZooKeeper集群实际上感觉在独享整个集群的服务,所以,你可以在任何一个结点上建立到服务集群的连接,例如:


Zookeeper集群环境安装过程详解_第7张图片

Zookeeper集群环境安装过程详解_第8张图片



6.停止zookeeper进程:zookeeper-3.4.3/bin/zkServer.sh stop


至此,Zookeeper集群安装大功告成!





你可能感兴趣的:(linux,hadoop,zookeeper,集群)