Hadoop 理解与运用（三）

yarn安装与测试

1、配置计算调度系统Yarn和计算引擎Map/Reduce
2、在namenode上配置mapred-site.xml

1 
2      mapreduce.framework.name
3       yarn
4 

3、yarn-site.xml的配置

1  
2      yarn.resourcemanager.hostname
3      master
4 
5   
6       yarn.nodemanager.aux-services  
7       mapreduce_shuffle  
     
8 
9  yarn.nodemanager.auxservices.mapreduce.shuffle.class
10  org.apache.hadoop.mapred.ShuffleHandler
11 

4、启动yarn集群

start-yarn.sh

5、jps观察启动结果

jps

6、可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager
7、通过网页http://master:8088/观察yarn集群
8、find /usr/local/hadoop -name example.jar 查找示例文件
9、通过hadoop jar xxx.jar wordcount /input /output来运行示例程序
(Java中有许多的事例程序他们是专门用来提供算法运算的例如wordcount是用来计算单词出现的次数的)
10、通过网页来观察该job的运行情况
11、经验：yarn-site如果是集中启动，其实只需要在管理机上配置一份即可，但是如果单独启动，需要每台机器一份，在网页上可以看到当前机器的配置，以及这个配置的来源