zookeeper入门到精通03——zookeeper集群搭建
zookeeper集群搭建
-
-
-
- 3.1 多虚拟机环境搭建
- 3.2 zookeeper集群搭建
-
-
3.1 多虚拟机环境搭建
我们需要搭建zookeeper集群，而由于zookeeper的的服务器数量需要设置为单数(前文介绍了原因)，一个zookeeper集群至少需要三个zookeeper服务，因此我们需要搭建三台虚拟主机。
(1)将之前的虚拟机重命名为zookeeper01。
(2)进行网络配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
再增加
VMWARE左上角点击编辑查看虚拟网络配置
对应在在后面追加文件ifcfg-eth0中追加
对以上修改说明如下:
BOOTPROTO：网卡获得ip地址的方式，这里设置成为static静态获取指定的ip地址。该参数还可以设置成为dhcp和pootp，分别对应两种协议方式获取ip地址。
HARDDR:网卡的物理地址。删除它避免后续克隆虚拟机时出现多台虚拟机的网卡物理地址相同，从而导致网络故障。
ONBOOT:是否在系统启动时激活网卡。
UUID:唯一标识。与网卡地址一样，删除避免网络故障。
IPADDR：IP地址
192.168.106.0：表示NAT模式下的一个网络号。不可用。
192.168.106.1：表示IPv4地址。不可用。
192.168.106.2：表示网关。不可用。
192.168.106.255：表示NET模式下的广播地址。不可用。
所以IPADDR地址范围：192.168.106.3 到 192.168.106.254均可以配置。
NETMASK：子网掩码
GATEWAY：网关
DNS：域名解析地址，*为1,2,3,4…，有多个就配置多个，这里配置了两个。
(3)重启网络服务，使其生效
service network restart
(4)测试网络配置是否成功
ping www.baidu.com
如上图，配置成功了。
(5)如下图进行克隆，创建虚拟机zookeeper02、zookeeper03。
克隆完成的虚拟机配置与之前的完全一致，我们需要更改网络配置中的IPADDR，使他们各不相同。
删除网卡地址的对应文件，使其重新生成网卡地址。
rm /etc/udev/rules.d/70-persistent-net.rules
重启虚拟机，进行ping www.baidu.com测试。
笔者在开启多台虚拟机时发现电脑自动蓝屏重启了。如您遇到类似问题可以参考博客：关于多开几台虚拟机就蓝屏重启的解决方案_时空之魔的博客-CSDN博客_虚拟机多开蓝屏解决。
3.2 zookeeper集群搭建
zookeeper集群至少需要三台zookeeper，我们的策略是：每一台主机安装一个zookeeper。试想：如果主机数量是10台，我们就需要安装10个zookeeper，这样效率显然不高。后面我们将解决这个问题，现在先来每一个主机安装一个zookeeper。
(1)xshell与虚拟机建立连接
在虚拟机启动的前提下，在xshell中选择文件->新建连接。
这里会让您输入用户名与密码，如果您的登录名或密码与虚拟机用户名(不是主机名哦)不一致，将会报错ssh服务器拒绝…，如下图，改为一致即可。
如果您连接不上，请自查之前主机的网络配置是否正确。尤其注意关注使用ifconfig命令查看ip等。
(2) 服务器命名
在xshell中操作主机zookeeper01.在zkData下新建并编辑文件myid。
cd /home/wangzhou/Downloads/zookeeper-3.5.7/zkData
输入1并保存退出。
(3)软件分发
我们可以使用软件分发脚本将zookeeper，jdk等直接分发到其它主机，在集群数量很多的情况下这可是特别高效的，不过在软件分发前我们需要做一些准备工作。
先将需要集群的主机取下别名。
sudo vim /etc/hosts
然后在home目录下新建文件夹bin
mkdir bin
编辑文件xsync，关于这个命令的更多介绍可以参考集群服务器的同步xsync命令使用_诗水人间的博客-CSDN博客_xsync未找到命令进行了解，总之它可以用来实现集群的软件分发工作。
vim xsync
具体内容如下。
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=2;host<4;host++)); do
echo ------------------- zookeeper$host --------------
rsync -rvl $pdir/$fname $user@zookeeper0$host:$pdir
done
准备工作做好了，返回到zookeeper的上级目录，同步分发zookeeper。
/home/wangzhou/Downloads
su root
xsync ~/Downloads/zookeeper-3.5.7/
执行结果如下。
可以在102上检查下。好神奇啊是不是。
对另外两台主机也新建myid文件，分别写入2，3。
编辑服务器zookeeper01的配置文件 zoo.cfg。
#######################cluster##########################
server.1=zookeeper01:2888:3888
server.2=zookeeper02:2888:3888
server.3=zookeeper03:2888:3888
上面的配置格式如下
server.A=B:C:D
其中A就是我们配置的myid,相当于一个身份标示;B就是主机的地址，我们更改了hosts文件，因此就使用别名代替了，您也可以直接使用ip地址；c时Leader与Follower通信的端口号；D是当Leader服务器挂了，用于选举的通信端口号。
分发到其它服务器。
[wangzhou@bogon conf]$ su root
[root@bogon conf]# xsync ./zoo.cfg
启动zookeeper01。报错如下。
Error: JAVA_HOME is not set and java could not be found in PATH.
参考博客ZooKeeper安装后无法启动JAVA_HOME is not set and java could not be found in PATH._Eleven-十一的博客-CSDN博客解决该报错问题。
我们目前有三台服务器，但是只启动了一台，根据集群规则，zookeeper集群还没有达到半数服务器运行，集群无法正常运行。
我们如法炮制，将jdk，环境变量文件等分发到其它服务器，然后再启动一台服务器即可。
查看zkServer.sh status，zookeeper没有真正跑起来。
[wangzhou@bogon zookeeper-3.5.7]$ ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/wangzhou/Downloads/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Error contacting service. It is probably not running.
查看日志。
[wangzhou@bogon zookeeper-3.5.7]$ cd logs
[wangzhou@bogon logs]$ vim zookeeper-root-server-bogon.out
日志信息如下。
2022-04-03 12:25:46,551 [myid:] - INFO [main:QuorumPeerConfig@135] - Reading configuration from: /home/wangzhou/Downloads/zookeeper-3.5.7/bin/../conf/zoo.cfg
2022-04-03 12:25:46,574 [myid:] - INFO [main:QuorumPeerConfig@387] - clientPortAddress is 0.0.0.0:2181
2022-04-03 12:25:46,574 [myid:] - INFO [main:QuorumPeerConfig@391] - secureClientPort is not set
2022-04-03 12:25:46,599 [myid:] - ERROR [main:QuorumPeerMain@89] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Address unresolved: zookeeper01:3888
at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.(QuorumPeer.java:261)
at org.apache.zookeeper.server.quorum.flexible.QuorumMaj.(QuorumMaj.java:89)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.createQuorumVerifier(QuorumPeerConfig.java:597)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseDynamicConfig(QuorumPeerConfig.java:630)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.setupQuorumPeerConfig(QuorumPeerConfig.java:603)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:422)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:152)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:113)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:82)
Invalid config, exiting abnormally
看上去是配置的问题。原来我们的cfg配置要求特别严格，一个空格啥的都可能导致zookeeper异常。参考博客zookeeper启动报错：Address unresolved-Ddmit未解决，但是从中想到可能是因为zookeeper01设置了hosts规则，其它主机没有设置。将hosts文件同步到其它主机即可。同时，还要记得关闭各个主机的防火墙。
在CentOS 5和CentOS 6系统中，关于如何开启防火墙、关闭防火墙、查看防火墙运行状态，请参考以下信息，注意需要在root用户操作哦：
-
开启防火墙
service iptables start -
关闭防火墙
service iptables stop -
查看防火墙运行状态
service iptables status
终于成功了
