hadoop2.x高可用集群的搭建

hadoop2.0集群的搭建

使用四台虚拟物理机搭建集群

• 集群各角色的分配
  

• 搭zookeeper集群

  解压
      解压zookeeper包
  修改文件名
      修改zookeeper的配置文件，将其重命名
  修改文件
      修改/etc/profile，加上zookeeper的bin目录
  设置路径
      将dataDir目录改为自己规划的目录
  追加
      在文件最后加上zookeeper体系三个节点的ip:2888:3888
  创建
      手动创建zk，并创建文件myid，在不同节点上用不同的数字命名
  开启
      开启zookeeper进程
          zkServer.sh start
          查看进程状态
              zkServer.status
  

• 修改hadoop配置文件

修改hdfs-site.xml

        命名nameservices
        命名两个NameNode的名称
        分别指定两个NameNode的rpc地址-》主机名：8020
        分别指定两个NameNode的http地址-》主机名：50070，用于浏览器查看集群状态
        配置edits log的地址，协议是qjournal，jnn分布的主机名：8485，加上一个路径，用于区分不同集群的edits log文件
        配置本地edits log文件存放地址
        dfs.client.failover.proxy.provider.mycluster
        dfs.ha.fencing.methods
        dfs.ha.fencing.ssh.private-key-files
        开启自动切换主备开关

配置core-site.xml

        配置defaultFS，通过它可以找到NameNode的位置
        切换hadoop临时文件存放目录
        设置zookeeper的启动-》节点名：2181

• 开启集群

  启动zookeeper
  启动jn
      hadoop-daemon.sh start journalnode
  在第一台NN上
      格式化
          hdfs namenode –format
      启动NameNode
          hadoop-daemon.sh start namenode
  在第二台NN上，同步第一台NN的信息
      hdfs namenode  -bootstrapStandby
  进入zookeeper交互
      zkCli.sh
  格式化zkfc
      hdfs zkfc -formatZK
  启动dfs
      stop-dfs.sh && start-dfs.sh
  启动zkfc
      hadoop-daemon.sh start zkfc
  

• 集群检查

  通过jps命令查看各个节点上的服务进程是否正常启动
  通过web页面访问相应的ip和端口，可以观察到node01为active状态，node02位standby状态