Java大数据hadoop2.9.2搭建伪分布式yarn资源管理器

1、修改配置文件

cd /usr/local/hadoop/etc/hadoop

cp ./mapred-site.xml.template ./mapred-site.xml

vi mapred-site.xml

  
    mapreduce.framework.name
    yarn
  

vi yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

2、重新启动hadoop

停止hadoop

stop-dfs.sh

打开hadoop和yarn资源管理器

start-all.sh

3、运行统计

cd /usr/local/hadoop/share/hadoop/mapreduce/

执行下方

hadoop jar ./hadoop-mapreduce-examples-2.9.2.jar wordcount /demo /demo/output

执行单词统计的任务，统计之前上传到hadoop的一个文件，把统计的输出到output文件夹

另外可以在浏览器输入ip:8088，查看任务的状态

后面可在hadoop的web页面查看到文件

在Linux系统输入下方命令可以查看任务执行打印的内容

hdfs dfs -cat /demo/output/part-r-00000