Zookeeper集群搭建

Zookeeper集群搭建

我们下面的操作，都在hadoop用户下进行，也要保证安装目录所属和权限开放（依然是chown命令和chmod命令，参照Hadoop全分布集群搭建（3）——Hadoop安装与配置）。

节点情况在Hadoop全分布集群搭建（1）——设置主机名与域名解析中有介绍，如下：

节点名称	hostName	IP地址
Master	Master	192.168. 101.42
Slave1	Slave1	192.168. 101.40
Slave2	Slave2	192.168. 101.41
Slave3	Slave3	192.168. 101.43

1.下载安装

从http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/下载（这里笔者用的就是3.4.6版本）压缩包，然后解压，命名为zookeeper-3.4.6，将该目录复制到/usr/soft/目录下面。

2.配置

在此之前，先建立zookeeper的数据目录，在/home/hadoop目录下，建立新文件夹名为zookeeper，在该新目录下下建立名为data的目录和名为logs的目录。

2.1zoo.cof文件配置

进入到zookeeper-3.4.6/conf目录下，编辑zoo.cfg文件，如下：

#zookeeper中使用的基本时间单位, 毫秒值.
tickTime=2000
#ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。#initLimit配置follower与leader之间建立连接后进行同步的最长时间。
initLimit=5
#配置follower和leader之间发送消息，请求和应答的最大时间长度。
syncLimit=2
#数据目录. 可以是任意目录.如果没有配置dataLogDir，那么事务日志也会存储在此目录。集群模式下，该目录下有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即下面server.id中的id，表示zk进程的id。
dataDir=/home/hadoop/zookeeper/data 
#监听client连接的端口号.
clientPort=2181     
#server.id=host:port1:port2，其中id为一个数字，表示zk进程的id，这个id也是dataDir目录下myid文件的内容。 host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。
server.42=Master:2888:3888  
server.41=Slave2:2888:3888    
server.40=Slave1:2888:3888 

2.2zkEnv.sh文件配置

进入到zookeeper-3.4.6/bin目录下，编辑zkEnv.sh文件，在文件中除去注释的配置开始的地方，加入下面语句

ZOO_LOG_DIR=/home/hadoop/zookeeper/logs #指定日志目录

3.分发到其他节点并创建myid文件

因为我们在zoo.cfg中配置了三个节点（分别是Master、Slave1、Slave2。其实我们有四个节点，为什么只配置三个，后面会解释），所以在一个节点上完成上述配置之后，将zookeeper-3.4.6目录拷贝到其他另外两个节点。

然后，我们需要在每个节点的dataDir目录（就是上面配置的/home/hadoop/zookeeper/data目录）下创建myid文件。根据上面server.id的配置

Master节点上的myid文件内容是42

Slave1节点上的myid文件内容是40

Slave2节点上的myid文件内容是41

注意1：笔者进行部署的时候出过错，日志提示没有zookeeper_server.pid文件，于是笔者也建立了这个文件，内容跟myid的内容一样（也有一说文件名是pid的，不知道为什么，以后再细究）

4.启动测试

zookeeper没有像hadoop或者spark那样的start-all的命令，所以必须在每台节点上都要执行启动命令（关闭也是）。启动脚本是zookeeper-3.4.6/bin目录下的zkServer.sh，相关命令如下：

#启动zookeeper集群
zkServer.sh start   
    #出现如下证明正确启动
    JMX enabled by default
    Using config: /usr/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    Mode: follower  #Mode或者是leader，leader只有一个，其余的是follower

#带日志的启动
zkServer.sh start-foreground
#查看zookeeper状态
zkServer.sh status  
#关闭
zkServer.sh stop    

启动之后，jps命令可以看到多了QuorumPeerMain。

5.总结

（1）还是那句话，出错了，或者启动不了去看日志文件，他可能刚开始会抛出connect timeout/refused等的异常，也不一定是真的出错了，因为你启动一个节点，他就会去连接配置中的其他节点，这个时候其他节点还没来得及启动呢，只要全部启动后，能选举，查看状态正常就可以了。

（2）回答上面的疑问，为什么这里4个节点只配置了3个（为什么zookeeper只配置奇数个节点）。

一般情况下，zookeeper的节点只配置奇数个。原因是zookeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的。也就是说如果有2个zookeeper，那么只要有1个死了，zookeeper就不能用了，因为1没有过半，所以2个zookeeper的死亡容忍度为0；同理，要是有3个zookeeper，一个死了，还剩下2个正常的，过半了，所以3个zookeeper的容忍度为1；同理，2n和2n-1的容忍度是一样的，都是n-1，所以为了更加高效，只配置奇数个节点就可以了。