ZooKeeper集群部署

注意：kafka自带zookeeper，但是尽量不要用kafka自带的，需要自己搭。并且自带的不会和自己搭的zookeeper集群起冲突。在使用kafka时，你可以自己决定使用哪个zookeeper。

原因：

• 一是这个命令行工具是从 Kafka 0.5.x 开始后才集成进 Kafka 的二进制包里的，早期就是得自己部署，用过早期版本的可能就延续下这个习惯了。（现在不会应该很少有用这么古早版本的了吧……）

• 二是自带的这个默认配置是单机版的，一般来说生产环境肯定是要做集群来保证高可用，如果直接改自带的这个配置也不是不可以，但万一改错了把 Kafka 弄坏了咋整？

• 三是一般来说 ZK 集群和 Kafka 集群应该分离才对，但二进制包里它俩耦合在一起了，为了部署 ZK 集群连带着拷贝了 Kafka 目录有点儿多余（费点儿心思单独拷出来也不是不行……），所以索性不去动它，另起一套。

ZooKeeper集群部署

ZooKeeper集群角色说明

ZooKeeper主要有领导者（Leader）、跟随者（Follower）和观察者（Observer）三种角色。

角色	说明
领导者（Leader）	为客户端提供读和写的服务，负责投票的发起和决议，更新系统状态。
跟随者（Follower）	为客户端提供读服务，如果是写服务则转发给Leader。在选举过程中参与投票。
观察者（Observer）	为客户端提供读服务器，如果是写服务则转发给Leader。不参与选举过程中的投票，也不参与“过半写成功”策略。在不影响写性能的情况下提升集群的读性能。此角色于zookeeper3.3系列新增的角色。

准备工作

ZooKeeper在提供分布式锁等服务的时候需要过半数的节点可用。另外高可用的诉求来说节点的个数必须>1，所以ZooKeeper集群需要是>1的奇数节点。例如3、5、7等等。

节点名	IP	说明
zk01	10.200.14.48	ZooKeeper节点
zk02	10.200.14.55	ZooKeeper节点
zk03	10.200.103.44	ZooKeeper节点

项	说明
Linux Server	Debian 9
JDK	jdk1.8.0_271
ZooKeeper	zookeeper-3.4.11

注意：以下内容，如果没有特殊指定在哪个机器上操作，就是代表需要在所有的机器上操作

部署OracleJDK

Oracle与OpenJDK之间的区别，本次安装Oracle JDK。

登录Oracle官网，手动下载jdk-8u271-linux-x64.tar.gz（不登录无法下载）
mkdir -p /usr/java
tar zvxf jdk-8u271-linux-x64.tar.gz -C /usr/java

# 设置JAVA_HOME
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_271
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#使环境变量生效
source /etc/profile
#查看配置结果
echo $JAVA_HOME

部署ZooKeeper

注意zookeeper的版本，经测试apache-zookeeper-3.5.8和apache-zookeeper-3.6.2都会出现寻不到JAVA_HOME的问题。zookeeper-3.4.11没有此问题。

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz
#创建应用目录
mkdir /usr/zookeeper
#创建数据目录
mkdir /zookeeper
mkdir /zookeeper/data
mkdir /zookeeper/logs
# 解压到指定目录
tar -zvxf zookeeper-3.4.11.tar.gz -C /usr/zookeeper

#修改环境变量文件
vi /etc/profile
#增加以下内容
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.11
export PATH=$ZOOKEEPER_HOME/bin:$PATH
#使环境变量生效
source /etc/profile
#查看配置结果
echo $ZOOKEEPER_HOME

既然已配置环境变量，为了方便访问ZooKeeper目录
后续通过$ZOOKEEPER_HOME代替/usr/zookeeper/zookeeper-3.4.11

#进入ZooKeeper配置目录
cd $ZOOKEEPER_HOME/conf

#新建配置文件
vi zoo.cfg

#写入以下内容并保存

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/data
dataLogDir=/zookeeper/logs
clientPort=2181
server.1=10.200.14.48:2888:3888
server.2=10.200.14.55:2888:3888
server.3=10.200.103.44:2888:3888

# 注意：以下在各个server分别配置

# zk01：
echo "1" > /zookeeper/data/myid

#zk02：
echo "2" > /zookeeper/data/myid

#zk03：
echo "3" > /zookeeper/data/myid

# 防火墙设置
iptables -I INPUT -p tcp --dport 2181 -j ACCEPT
iptables -I INPUT -p tcp --dport 2888 -j ACCEPT
iptables -I INPUT -p tcp --dport 3888 -j ACCEPT
iptables-save

# 启动ZooKeeper
#进入ZooKeeper bin目录
cd $ZOOKEEPER_HOME/bin

#启动
./zkServer.sh start     #如使用sh zkServer.sh start启动可能会有问题

启动出现以下字样，代表成功

ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.11/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

注意：若报出JAVA_HOME is not set and java could not be found in PATH.错误，就是所下载的zookeeper版本有问题

在根目录中执行bin/zkServer.sh status，查看集群的状态

# 10.200.14.48 状态
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: follower

# 10.200.14.55 状态
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: leader

# 10.200.103.44 状态
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: follower

集群测试

这里随机选其中一个节点作为客户端连接其他节点即可

./bin/zkCli.sh -server 10.200.14.55
#正常连接后会进入ZooKeeper命令行，显示如下
# ============output=============
WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: 10.200.14.55(CONNECTED) 0] ls /
[cluster, controller_epoch, brokers, zookeeper, admin, isr_change_notification, consumers, log_dir_event_notification, latest_producer_id_block, config]
[zk: 10.200.14.55(CONNECTED) 1]

常用配置说明

配置项	名称	说明
tickTime	CS通信心跳间隔	服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每间隔 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
initLimit	LF初始通信时限	集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数
syncLimit	LF同步通信时限	集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数
dataDir	数据文件目录	Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里
dataLogDir	日志文件目录	Zookeeper保存日志文件的目录
clientPort	客户端连接端口	客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求
server.N	服务器名称与地址	从N开始依次为：服务编号、服务地址、LF通信端口、选举端口；例如：server.1=192.168.88.11:2888:3888

注：如果您想继续搭建Kafka集群，请参考Kafka集群部署

参考文章

• https://ken.io/note/centos-java-setup
• https://ken.io/note/zookeeper-cluster-deploy-guide
• https://blog.csdn.net/u014545085/article/details/104743773?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai