Hadoop2.6.0集群配置

（1）java的jdk安装配置，ssh的免密登录安装配置ssh的免密登录安装配置

（2）区分主节点的功能：
130是resorcemanager和namenode—-由下面的配置决定
131是datanode，nodemanager
132是datanode，nodemanager

（3）JAVA_HOME内容添加

hadoop-env.sh
修改JAVA_HOME
yarn-env.sh
修改JAVA_HOME
（4）core-site.xml

属性”fs.defaultFS“表示NameNode节点地址，由”hdfs://主机名(或ip)：端口号”组成。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.255.130:9000</value>
    </property>
<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

（5）hdfs-site.xml
属性“dfs.namenode.name.dir”表示NameNode存储命名空间和操作日志相关的元数据信息的本地文件系统目录，该项默认本地路径为”/tmp/hadoop-{username}/dfs/name”；
属性”dfs.datanode.data.dir“表示DataNode节点存储HDFS文件的本地文件系统目录，由”file://本地目录”组成,该项默认本地路径为”/tmp/hadoop-{username}/dfs/data”。
属性“dfs.namenode.secondary.http-address”表示SecondNameNode主机及端口号（如果无需额外指定SecondNameNode角色，可以不进行此项配置）；

<property> 
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/namenodedir,/home/hadoop/namenodedirbak</value>
    </property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/datanodedir,/home/hadoop/datanodedirbak</value>
    </property>

（6）yarn-site.xml
这是resourcemanager的配置定为130机子

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>192.168.255.130:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name  <value>192.168.255.130:18030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.255.130:18088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>192.168.255.130:8025</value> </property>

（7）mapred-site.xml
为130机子注意和上面的配置一致

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<property>
        <name>mapreduce.map.memory.mb</name>
        <value>1536</value>
    </property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.225.130:10020</value>
    </property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.225.130:19888</value>
    </property>

（8）配置slaves
写入从节点的名称，这里为：slave1,slave2

(9)将配置好的hadoop文件copy到其它slave机器上—-不需要任何修改
scp -r hadoop/ [email protected]:~/

（10）格式化namenode:——每台机器都需要进行格式化
./bin/hdfs namenode -format

（11）启动hdfs:—只需要在主节点进行
./sbin/start-dfs.sh

（12）启动yarn:—只需要在主节点进行
./sbin/start-yarn.sh

（13） jps查看—-在各节点分别查看，看是否和之前功能分配相符合

（14）查看集群状态：
./bin/hdfs dfsadmin -report

（15）查看hdfs：http://192.168.255.130:50070/

（16）查看RM：http://192.168.255.130:18088/——-即前面配置的yarn.resourcemanager.webapp.address

（17）运行wordcount程序

a、在hdfs创建/tmp/input目录

 ./bin/hadoop fs  -mkdir /tmp

 ./bin/hadoop fs  -mkdir /tmp/input

b、将f1、f2文件copy到hdfs /tmp/input目录

./bin/hadoop fs -put input/ /tmp
c、查看hdfs上是否有f1、f2文件

./bin/hadoop fs -ls /tmp/input/
d、执行wordcount程序

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /tmp/input /output
e、查看执行结果
./bin/hadoop fs -cat /output/part-r-0000