『 Hadoop』从零安装第六弹

配置hadoop集群

前置准备：

• 集群之间能够无密码SSH登录
  『 Hadoop』从零安装第五弹 -
  http://www.jianshu.com/p/c979dbe13537

配置思路：

首先一个有七个文件要修改
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml
hadoop-2.6.0/etc/hadoop/slaves
之后修改/etc/profile设置环境变量，
当在master上修改完成后，将hadoop-2.6.0/etc/hadoop/
连同修改后的配置文件，通过scp拷贝到其它2台机器上，之后测试hadoop配置，成功格式化则说明大功快要告成了*

以下操作在~/software/hadoop/hadoop-2.6.0中！！

1. hadoop-env.sh
   $ vi etc/hadoop/hadoop-env.sh
   

   

2. yarn-env.sh
   $ vi etc/hadoop/yarn-env.sh
   

   

3. core-site.xml
   $ vi etc/hadoop/core-site.xml
   

   

4. hdfs-site.xml
   $ vi etc/hadoop/hdfs-site.xml
   

   
   *PS：注:dfs.replication表示数据副本数，
   一般不大于datanode的节点数(即不大于集群机子数)。
   这里为了避免出错，设置为1.

5. mapred-site.xml
   $ vi etc/hadoop/mapred-site.xml
   
   
   *PS：如果不存在mapred-site.xml
   就把mapred-site.xml.template
   复制一份为mapred-site.xml

6. yarn-site.xml
   $ vi etc/hadoop/yarn-site.xml

  

  yarn.nodemanager.aux-services

  mapreduce_shuffle



 

 yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler

 

  

  yarn.resourcemanager.scheduler.address

   master:8030
  
  
    yarn.resourcemanager.resource-tracker.address

master:8025

  

 

  yarn.resourcemanager.address

 master:8040

7. slaves

PS：这样只有slave1，slave2上有datanode进程

8. 修改/etc/profile设置环境变量
$ sudo vi /etc/profile

export HADOOP_HOME=/home/sakura/software/hadoop/hadoop-2.6.0

export CLASS=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

至此，master上hadoop集群配置完成！

分发到集群的其他机器

1. 将hadoop-2.6.0/etc/hadoop/* 连同修改后的配置文件，通过scp拷贝到其它2台机器上

**PS：我拷成外面的大文件了，oh！拷了好久，而且路径还复制错误，肯定是我表弟偷偷帮我操作的
**

上图路径复制错误，需要后期手动修改

上图说明，已经修改完成！！

然后当然是接着复制另一份到别的机器上啦，当然我当时太卡了，所以只测试了一个节点的，所以有点小问题....

hadoop集群测试

1. 在master上启用NameNode测试
   $ hdfs namenode -format
   
   

格式化成功！！！虽然只是一个节点，之后我开通两个节点依然格式化成功了，。，

启动hadoop集群

master节点成功

关闭hadoop集群

示例 当安装失败 重新格式化 hdfs

1. 删除当初安装时手动创建的tmp目录里的文件，保留tmp文件夹！
2. 删除data/datanode 和data/namenode 里的文件，保留data/datanode 和 data/namenode 文件夹
3. 如果布置了集群，集群里的机子也要重复【1】【2】操作。
4. 重新格式化
   $ hdfs namenode -format
   
   
5. 启动hadoop集群
   $ start-all.sh
   
   
6. 在所有集群上查看进程
   $ jps
   
   
7. 查看hdfs的磁盘报告
   $ hdfs dfsadmin -report
   
   

8. hadoop 操作测试
   将Linux上的文件上传的hdfs上

   
   
   
   
   

   统计hdfs目录里文件字数和查看hdfs磁盘大小