总结-我的HA搭建

我的高可用集群终于搭好了,中间遇到各种错误,然后查原因,重新配置,倒腾了两天。写个总结,记录一下这其中的过程。

bigdata1:总结-我的HA搭建_第1张图片bigdata2:总结-我的HA搭建_第2张图片

bigdata3:bigdata4:

192.168.1.111(bigdata1)   NameNode1      ResourceManager1     Journalnode  Zookeeper
192.168.1.112 (bigdata2)   NameNode2      ResourceManager2     Journalnode  Zookeeper

192.168.1.113 (bigdata3)   DataNode1         Zookeeper
192.168.1.114 (bigdata4)   DataNode2

vm虚拟机搭建:centos6.9最小系统   +   Zookeeper  3.4.11+hadoop2.7.3

遇到的两个大的问题:

1.开始用的centos7,防火墙由centos6的iptables 换成了7的firewalld,但是防火墙关闭后8485端口依然不能访问,查了一下好像redhat7开始就有这个为了安全的设置了。这个问题解决方法:1.首先查看这个端口是否被占用。2.直接打开防火墙,然后开放自己需要使用的端口。3.另外可能的原因,自己搭建centos7时四台虚拟机都是从第一台克隆的,只是改了名字和ip,网上查有人说克隆的虚拟机网卡配置都一样并且自己是用vm简化安装的,这都是虚拟机可能出现问题的根源。自己为了简化操作换回了centos6。相同配置,没有出现centos7上遇到的问题。

2.开始装的Zookeeper  3.4.10,启动Zookeeper ,jps可以看到QuorumPeerMain进程,但是zkServer.sh status却显示 It is probably not running.并且没有DFSZKFailoverController进程,再进行hdfs zkfc -formatZK格式化时出现错误,查看Zookeeper 日志:WARN  [WorkerSender Thread:QuorumCnxManager@384] - Cannot open channel to 1 at election address /192.168.1.112:3888,防火墙也关了,端口也没占用,那就可能是配置出错了,我就直接把3台机器上的Zookeeper  3.4.10都删掉,从官网重新下载了比较新的3.4.11版本,配置好bigdata1,scp到bigdata2,bigdata3。再次启动,问题解决。


你可能感兴趣的:(总结-我的HA搭建)