Yarn伪分布式部署以及MapReduce经典案例(二)

1.MapReduce官网案例
http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html

bin/hdfs dfs -mkdir /input  在/下创建input目录
bin/hdfs dfs -put etc/hadoop /input  将etc/hadoop这个文件夹上传到/input这个目录
bin/hdfs dfs -ls /input  查看/input文件夹下的文件

1.1Run some of the examples provided

 bin/hadoop jar \
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar\   (共享jar包文件件路径下官方提供的一个jar包)
 grep \    (过滤dfs[a-z.]+这么一个参数)
 /input /output 'dfs[a-z.]+'
   此处我们注意到connecting to ResourceManager at /0.0.0.0:8032
知识点:0.0.0.0代表的是网络上的所有ip地址,例如:当前我的ip是10.0.0.130,下次登录ip变成了10.0.0.131,而0.0.0.0能够追踪它并代表它。
   我们要会使用官网http://hadoop.apache.org/docs/r2.8.4/hadoop-yarn/hadoop-yarn-common/yarn-default.xml进行配置,Name:yarn.resourcemanager.hostname  value:10.0.0.130

Yarn伪分布式部署以及MapReduce经典案例(二)_第1张图片
这里写图片描述

Yarn伪分布式部署以及MapReduce经典案例(二)_第2张图片

MapReduce是在yarn服务上跑的,ID:application 1528126522482 002,1528126522482代表的是unix时间(毫秒)戳转换成北京时间是2018/6/4 23:35:22。用户是hadoop用户,名称叫grep search,应用程序是MapReduce

2.第二个例子

bin/hadoop jar \
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar\   (共享jar包文件件路径下官方提供的一个jar包)
 wordcount \    (过滤dfs[a-z.]+这么一个参数)
 /input /output 

Yarn伪分布式部署以及MapReduce经典案例(二)_第3张图片

你可能感兴趣的:(Yarn伪分布式部署以及MapReduce经典案例(二))