(十四)大数据实战——hadoop集群一键式高可用实现自动故障转移与故障初始化恢复

前言

本节内容延续前面几节内容,综合性的实现hadoop集群的高可用以及hadoop集群故障初始化的恢复,通过一个脚本,实现整个集群的高可用启停与状态观测。主要是zookeeper、hdfs、yarn等服务的高可用集群的一键式启停。

正文

  • hadoop高可用集群整体规划
hadoop高可用集群服务规划
hadoop101 hadoop102 hadoop103
NameNode NameNode NameNode
JournalNode JournalNode JournalNode
DataNode DataNode DataNode
Zookeeper Zookeeper Zookeeper
ZKFC ZKFC ZKFC
ResourceManager ResourceManager ResourceManager
NodeManager NodeManager NodeManager
  • hadoop高可用相关配置文件分发

- core-site.xml









    
    
        fs.defaultFS
        hdfs://mycluster
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    

    
    
        hadoop.http.staticuser.user
        hadoop
    

    
    
        ha.zookeeper.quorum
        hadoop101:2181,hadoop102:2181,hadoop103:2181
    

- hdfs-site.xml







    
    
        dfs.namenode.name.dir
        file://${hadoop.tmp.dir}/nn
    
    
                    

你可能感兴趣的:(大数据,#,hadoop,大数据,hadoop,分布式)