Hadoop伪分布式配置

1、配置安全组规则，开启服务器端口：

      9000、8031、50070、8088，不建议修改hadoop内部指定的端口号

2、设置环境变量（把Hadoop 的Home目录添加到系统环境变量里面去）

      vim ~/.bash_profile   

      在该文件中把Hadoop的home、bin、sbin目录加到path中去,文件末尾添加如下内容:

      HADOOP_HOME=/usr/local/hadoop

      export HADOOP_HOME

      PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

      export PATH

       

       并生效环境变量：source ~/.bash_profile

 

      查询服务器内部IP的命令：ip addr

 

3、安装配置如下：

      （1）配置hadoop-env.sh

                vim hadoop-env.sh

                注释掉：#export JAVA_HOME=${JAVA_HOME}

                增加：export JAVA_HOME=/usr/share/jdk1.8

                

 

              (可以忽略此演示步骤)

              配置好了本地模式之后，需要通过内部提供的DEMO来测试是否安装成功

              演示Demo：

              存放地址：/usr/local/hadoop/share/hadoop/mapreduce

              如果想了解到底内部提供了多少个Demo，那执行以下语句：

             在mapreduce目录下执行：hadoop jar hadoop-mapreduce-examples-2.6.5.jar

             

 

   （2）配置hdfs-site.xml

           

           

             dfs.replication

              1

             

 

           

         

            dfs.permissions

            false

         

         

     （查询服务器内部IP的命令：ip addr）

 

（3）配置core-site.xml

         

         

             fs.defaultFS

             hdfs://你的内部IP:9000

       

 

     

     

    hadoop.tmp.dir

    /usr/local/hadoop/tmp

   

      

 

（4）配置mapred-site.xml

       

        mapreduce.framework.name

       yarn

       

        

 

（5）配置yarn-site.xml

       

        yarn.resourcemanager.hostname

         你的内部IP

         

 

         

         

          yarn.nodemanager.aux-services

          mapreduce_shuffle

         

         

 

 

4、格式化NameNode

    hdfs namenode –format

（注意：只需要格式化一次，若要重新格式化，先把（/usr/local/hadoop/tmp） tmp目录下的文件清空）

   

5、启动hadoop：start-all.sh

     hdfs ：存储数据  

     yarn：执行程序即计算

     （关闭hadoop命令：stop-all.sh ）

6. 访问：

（1）命令行jps

（2）JAVA API

（3）Web端

         HDFS：http://服务器ip:50070

         Yarn：http://服务器ip:8088

 

Jps命令：(六个节点)

 

 

格式化nodename时，出现：（把（/usr/local/hadoop/tmp） tmp目录下的文件清空，关闭hadoop（stop-all.sh）,重新格式化，解决问题！！）

 

web端

Yarn：http://服务器ip:8088

 

HDFS：http://服务器ip:50070