Hadoop集群升级HA高可用集群配置

在原有的Hadoop集群的基础上,配置HA高可用集群,简单修改配置文件,具体配置及启动方案如下:
(先停止Hadoop集群)

修改 core-site.xml(指定ZK集群,使ZK能够监督master的运行,启动备用节点,我的主节点主机名为Kate,并非master,配置HA的时候改名为apollo,个人喜好,请注意,酌情忽略此细节)
未修改之前的core-site.xml
Hadoop集群升级HA高可用集群配置_第1张图片
修改之后:
Hadoop集群升级HA高可用集群配置_第2张图片
就是增加一个property,指定ZooKeeper集群的端口号
另外 默认的HDFS路径 ,取名为cluster1,hdfs://后面不再跟主机名和端口号
而是设置一个 hdfs的nameservice取名为cluster1
因此,改成hdfs://cluster1即可(注意,集群名cluster1在hdfs-site.xml里面也要用到,注意对应)


修改 hdfs-site.xml
在原有基础上,修改或添加如下信息:
Hadoop集群升级HA高可用集群配置_第3张图片
Hadoop集群升级HA高可用集群配置_第4张图片
修改 yarn-site.xml
Hadoop集群升级HA高可用集群配置_第5张图片
然后配两个主节点的端口:
Hadoop集群升级HA高可用集群配置_第6张图片
注意,如果要配
    yarn.resourcemanager.ha.id
    rm1
这个属性的话,两台主节点是不同的(当然可以不配这个属性)


以下为第一次启动时需要做的:
分别在每个节点启动journalnodehadoop-daemon.sh start journalnode
第一次启动的时候要格式化HDFS: hdfs namenode -format
然后格式化ZKFC hdfs zkfc -formatZK
这两步操作均要在主节点上配置(不是备用主节点,注意)


启动主节点的NameNode:  hdfs namenode
在备用节点上执行同步数据(格式化): bin/hdfs namenode -bootstrapStandby
在主节点Ctrl+C,关掉NameNode
(启动主节点的NameNode时可以用hadoop-daemon.sh start namenode)
在两个主节点上启动zkfc进程:hadoop-daemon.sh start zkfc


启动1.先启动所有节点的ZooKeeper
     2.在第一台主节点上启动HDFS: start-dfs.sh

第一台主节点如下进程
Hadoop集群升级HA高可用集群配置_第7张图片
另一台备用的主节点:
Hadoop集群升级HA高可用集群配置_第8张图片
从节点:
       
3.在主节点启动Yarn: start-yarn.sh
这时,主节点的ResourceManager会启动
Hadoop集群升级HA高可用集群配置_第9张图片
从节点的NodeManager会启动
Hadoop集群升级HA高可用集群配置_第10张图片
4.单独启动备用节点的ResourceManager,在备用节点:
            yarn-daemon.sh start resourcemanager

你可能感兴趣的:(大数据开发日志)