【Flink原理和应用】:Zookeeper集群环境的搭建

1. 引言

Flink实现高可用部署的方式有多种,其中Standalone模式是实现高可用的一种。对于Standalone模式,主要是要实现JobManager的高可用部署。

集群环境中JobManager的各个节点,需要借用zookeeper这个服务注册和服务发现组件来对其管理。

出于高可用性部署的考虑,所以zookeeper本身也要实现高可用性。所以本文先介绍下zookeeper的高可用部署。

2. 部署的具体过程

我们选用三台服务器构建zookeeper集群。这三台服务器的ip为:

10.35.108.81
10.35.108.82
10.35.108.83

1. 下载安装包

从官网下载zookeeper-3.4.12版本的安装包,解压下来。放置目录:/home/caihuaxue/zookeeper。这一步简单,不做具体说明。

2. 配置

配置zoo.cfg文件

配置安装目录里的conf/zoo.cfg文件,三台服务器的配置是一样的。配置如下:

tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/home/caihuaxue/zookeeper/data
dataLogDir=/home/caihuaxue/zookeeper/log
server.1=10.35.108.83:2888:3888
server.2=10.35.108.82:2888:3888
server.3=10.35.108.81:2888:3888

分别配置myid文件

安装目录下的data/myid文件需要配置。三台服务器对该文件的配置内容如下。

10.35.108.81的myid:

3

10.35.108.82的myid:

2

10.35.108.81的myid:

1

3. 启动

三台服务器的操作一样的:

cd /home/caihuaxue/zookeeper
./bin/zkServer.sh start

4.查看集群状态

到此,zookeeper的安装就完成了,下面看下集群状态。在82节点执行:

./bin/zkServer.sh status

打印如下内容:

ZooKeeper JMX enabled by default
Using config: /root/zhanglianzheng/zookeeper/bin/../conf/zoo.cfg
Mode:follower

在83节点执行同样指令,打印结果和上面一样。

在81节点执行同样指令,打印结果如下:

ZooKeeper JMX enabled by default
Using config: /root/zhanglianzheng/zookeeper/bin/../conf/zoo.cfg
Mode:leader

至此,说明zookeeper集群环境说明已经安装成功了。此时状态下,81是leader节点,82和83是follower节点。

总结

zookeeper的集群安装不复杂,但是要注意下关于myid的配置,这步如果忘记配置,集群服务是启动不起来的。

下一篇文章,将总结下zookeeper支持主备服务的原理。

你可能感兴趣的:(Flink,Flink原理和应用)