Configuring Zookeeper Cluster

本文介绍的 Zookeeper 是以 3.4.10 这个稳定版本为基础，最新的版本可以通过官网下载。Zookeeper 不仅可以单机提供服务，同时也支持多机组成集群来提供服务。实际上 Zookeeper 还支持另外一种伪集群的方式，也就是可以在一台物理机上运行多个 Zookeeper实例。Zookeeper的安装非常简单，本文主要介绍集群模式的安装和配置。环境如下图所示：

1、安装

[hadoop@hdp01 ~]$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz
[hadoop@hdp01 ~]$ tar -xzf zookeeper-3.4.10.tar.gz
[hadoop@hdp01 ~]$ mv zookeeper-3.4.10 /u01/zookeeper

创建两个文件夹分别存放data和log：

[hadoop@hdp01 ~]$ mkdir /u01/zookeeper/data/
[hadoop@hdp01 ~]$ mkdir /u01/zookeeper/logs/

2、配置
2.1 创建配置文件
zoo.cfg是zookeeper的主要配置文件，因为Zookeeper是一个集群服务，集群的每个节点都需要这个配置文件。为了避免出差错，zoo.cfg这个配置文件里没有跟特定节点相关的配置，所以每个节点上的这个zoo.cfg都是一模一样的配置。这样就非常便于管理了，比如我们可以把这个文件提交到版本控制里管理起来。其实这给我们设计集群系统的时候也是个提示：集群系统一般有很多配置，应该尽量将通用的配置和特定每个服务的配置(比如服务标识)分离，这样通用的配置在不同服务之间copy就可以了。

[hadoop@hdp01 ~]$ vi /u01/zookeeper/conf/zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/u01/zookeeper/data
dataLogDir=/u01/zookeeper/logs
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=100
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hdp01:2888:3888
server.2=hdp02:2888:3888
server.3=hdp03:2888:3888
server.4=hdp04:2888:3888

• tickTime：则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms * 5 = 10秒。
• dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。
• dataLogDir：如果没提供的话使用的则是dataDir。zookeeper的持久化都存储在这两个目录里。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot，便于快速恢复。为了达到性能最大化，一般建议把dataDir和dataLogDir分到不同的磁盘上，这样就可以充分利用磁盘顺序写的特性。
• initLimit：ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。
• syncLimit：配置follower和leader之间发送消息，请求和应答的最大时间长度。
• server.id=host:port1:port2
  server.id：其中id为一个数字，表示zk进程的id，这个id也是data目录下myid文件的内容
  host：是该zk进程所在的IP地址
  port1：表示follower和leader交换消息所使用的端口
  port2：表示选举leader所使用的端口
• clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
  2.2 创建myid文件
  Zookeeper 启动时会读取myid文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。在创建myid之前，先把zookeeper的所有文件复制到其它节点。

  [hadoop@hdp01 ~]$ for i in {2..4};do scp -r /u01/zookeeper hdp0$i:/u01/zookeeper;done
  [hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "echo $i >/u01/zookeeper/data/myid";done

  3、管理
  3.1 启动集群
  在任意一台机器上操作即可。

  [hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;zkServer.sh start";done
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Starting zookeeper ... STARTED
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Starting zookeeper ... STARTED
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Starting zookeeper ... STARTED
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Starting zookeeper ... STARTED

  3.2 查看集群状态

  [hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;zkServer.sh status";done
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Mode: follower
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Mode: follower
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Mode: leader
  ZooKeeper JMX enabled by default
  Using config: /u01/zookeeper/bin/../conf/zoo.cfg
  Mode: follower

  3.3 连接集群

[hadoop@hdp01 ~]$ zkCli.sh -server hdp01:2181,hdp02:2181,hdp03:2181,hdp04:2181
Connecting to localhost:2181
2017-12-13 10:08:15,949 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
2017-12-13 10:08:15,957 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=hdp01.thinkjoy.tt
2017-12-13 10:08:15,957 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_152
2017-12-13 10:08:15,961 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-12-13 10:08:15,961 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.8.0_152/jre
......
Welcome to ZooKeeper!
2017-12-13 10:08:16,001 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2017-12-13 10:08:16,081 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@876] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
2017-12-13 10:08:16,093 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x1604d9842db0006, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]

参考文献：
1、CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务
2、【分布式】Zookeeper的Leader选举
3、分布式服务框架 Zookeeper -- 管理分布式环境中的数据