hadoop集群搭建之HA模式

1.Hadoop环境变量相关配置

    1.在node01上创建hadoop安装路径：
     mkdir /opt/bigdata

     2.解压hadoop软件包
    tar xf hadoop-2.6.5.tar.gz
    mv hadoop-2.6.5  /opt/bigdata/
    3.配置hadoop环境便令
    vi /etc/profile    
     export  JAVA_HOME=/usr/java/default
     export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
     export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    4.使配置生效
     source /etc/profile

      5.检测

       在任意目录输入hd按Tab建看是否能联想出hdfs命令，有侧安装配置成功

     6.从node01分发到其他节点（node02，node03，node04）

            cd /opt
            scp -r ./bigdata/  node02:`pwd`
            scp -r ./bigdata/  node03:`pwd`
            scp -r ./bigdata/  node04:`pwd`

        2.安装zookeeper（node02，node03，node04）

node02:
            tar xf zook....tar.gz
            mv zoo...    /opt/bigdata
            cd /opt/bigdata/zoo....
            cd conf
            cp zoo_sample.cfg  zoo.cfg
            vi zoo.cfg
                datadir=/var/bigdata/hadoop/zk
                server.1=node02:2888:3888
                server.2=node03:2888:3888
                server.3=node04:2888:3888
            mkdir /var/bigdata/hadoop/zk
            echo 1 >  /var/bigdata/hadoop/zk/myid 
            vi /etc/profile
                export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6
                export                 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
            . /etc/profile
            cd /opt/bigdata
            scp -r ./zookeeper-3.4.6  node03:`pwd`
            scp -r ./zookeeper-3.4.6  node04:`pwd`
        node03:
            mkdir /var/bigdata/hadoop/zk
            echo 2 >  /var/bigdata/hadoop/zk/myid
            *环境变量
            . /etc/profile
        node04:
            mkdir /var/bigdata/hadoop/zk
            echo 3 >  /var/bigdata/hadoop/zk/myid
            *环境变量
            . /etc/profile

        node02~node04:
            zkServer.sh start

   3.hadoop文件相关配置

       1.修改hadoop-env.sh

        vi hadoop-env.sh
        export JAVA_HOME=/usr/java/default

         2.修改core-site.xml

            vi  core-site.xml

    fs.defaultFS
	hdfs://mycluster



	ha.zookeeper.quorum
	node02:2181,node03:2181,node04:2181

      3.修改hdfs-site.xml

        vi hdfs-site.xml

		  dfs.nameservices
		  mycluster
		
		
		  dfs.ha.namenodes.mycluster
		  nn1,nn2
		
		
		  dfs.namenode.rpc-address.mycluster.nn1
		  node01:8020
		
		
		  dfs.namenode.rpc-address.mycluster.nn2
		  node02:8020
		
		
		  dfs.namenode.http-address.mycluster.nn1
		  node01:50070
		
		
		  dfs.namenode.http-address.mycluster.nn2
		  node02:50070
		

		#以下是JN在哪里启动，数据存那个磁盘
		
		  dfs.namenode.shared.edits.dir
		  qjournal://node01:8485;node02:8485;node03:8485/mycluster
		
		
		  dfs.journalnode.edits.dir
		  /var/bigdata/hadoop/ha/dfs/jn
		
		
		#HA角色切换的代理类和实现方法，我们用的ssh免密
		
		  dfs.client.failover.proxy.provider.mycluster
		  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
		
		
		  dfs.ha.fencing.methods
		  sshfence
		
		
		  dfs.ha.fencing.ssh.private-key-files
		  /root/.ssh/id_dsa
		
		
		#开启自动化： 启动zkfc
		 
		   dfs.ha.automatic-failover.enabled
		   true
		 

        4.修改vi slaves

        vi slaves

node02
node03
node04