配置Hadoop集群+WordCount案例

配置Hadoop集群

配置环境变量 /etc/profile

export HADOOP_HOME=/bigData/hadoop-2.8.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

8.配置hadoop-env.sh文件

1>  vim  hadoop-env.sh

2>  在文件中加入

         export  JAVA_HOME=/bigData/jdk1.8.0_121

9.配置yarn-env.sh文件

1>  vim yarn-env.sh

2>  在文件中加入

          export  JAVA_HOME=/bigData/jdk1.8.0_121

10. 配置slaves文件

1>  vim slaves

2> 删除原有的localhost

3> 在文件中加入

            slave1

            slave2

   fs.defaultFS

   hdfs://master:9000

 

  

     hadoop.tmp.dir

     /bigData/hadoop-2.8.0/tmp 

配置hdfs-site.xml文件

      dfs.namenode.secondary.http-address

      master:50090

   

   

      dfs.replication

      2

   

   

      dfs.namenode.name.dir

      file:/bigData/hadoop-2.8.0/hdfs/name

   

   

      dfs.datanode.data.dir

      file:/bigData/hadoop-2.8.0/hdfs/data

   

 

14.配置mapred-site.xml文件

          yarn.nodemanager.aux-services

          mapreduce_shuffle

  

  

           yarn.resourcemanager.address

           master:8032

  

  

          yarn.resourcemanager.scheduler.address

          master:8030

  

   

         yarn.resourcemanager.resource-tracker.address

         master:8031

    

    

         yarn.resourcemanager.admin.address

         master:8033

    

    

         yarn.resourcemanager.webapp.address

         master:8088

    

14.配置mapred-site.xml文件

1> mapred-site.xml.template 是存在的

mapred-site.xml不存在

注意：先要copy一份

cp mapred-site.xml.template  mapred-site.xml

然后编辑   vim  mapred-site.xml 

    mapreduce.framework.name

    yarn

 

 

    mapreduce.jobhistory.address

    master:10020

 

 

    mapreduce.jobhistory.webapp.address

    master:19888

 

 

15. 把配置好的hadoop文件复制到其他的子机器中

   scp -r /bigData/hadoop-2.8.0  root@slave1:/bigData/

   scp -r /bigData/hadoop-2.8.0  root@slave2:/bigData/

16. 把配置好的/etc/profile文件复制到其他的子机器中

进行测试  hadoop version

17. 格式化节点

     在master 主机器中运行    hdfs namenode -format

在sbin下面启动 hadoop-2.8.0/sbin

启动

出现上面 的情况 就说明你已经成功了

我们接下来 来实现wordcount案例

这个jps可能是假的  例如我们在 master 里面的hdfs目录下面只有一个name文件夹 也可以出现 NameNode节点 但是 里面没东西就是假的 骗你的

所以我们要wordcount测试