【hadoop】14、hadoop2.5的mapreduce的 配置

配置mapreduce

<configuration>

configuration>


加上这个

<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>

然后在yarn-site.xml里面进行配置

<configuration>


    <property>
        <name>yarn.resourcemanager.hostnamename>
        
        <value>hadoop1value>
    property>

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.classname>
        <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
    property> 

configuration>

启动

前面启动了hdfs之后
在启动yarn

sbin/start-yarn.sh

Hadoop1上

Node1

Node2

Node3

项目
开始我们的eclipse中的mapreduce的项目运行

首先建立一个java项目

然后导入相应的包
Common下面的

Mapreduce下的

Yarn下面的额

Hdfs下面的

我们的需求文档

1949-10-01 14:21:02 34℃
1949-10-02 14:01:02 36℃
1950-01-01 11:21:02 32℃
1950-10-01 12:21:02 37℃
1951-12-01 12:21:02 23℃
1950-10-02 12:21:02 41℃
1950-10-03 12:21:02 27℃
1951-07-01 12:21:02 45℃
1951-07-02 12:21:02 46℃
 
1949-10-01 14:21:02 34℃
1949-10-01 14:21:02 34℃
1949-10-01 14:21:02 34℃
 
1949-10-01 14:21:02 34℃