大数据入门二(YARN部署)

1.入门
HDFS 存储
MapReduce 计算
Spark Flink
Yarn 资源作业调度

伪分布式部署
要求 环境配置文件 参数文件 ssh无密码 启动

jps命令
[hadoop@hadoop002 ~]$ jps
28288 NameNode NN
27120 Jps
28410 DataNode DN
28575 SecondaryNameNode SNN

1.MapReduce job on Yarn
大数据入门二(YARN部署)_第1张图片

[hadoop@hadoop002 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@hadoop002 hadoop]$

大数据入门二(YARN部署)_第2张图片
Configure parameters as follows:
etc/hadoop/mapred-site.xml:

mapreduce.framework.name yarn ![在这里插入图片描述](https://img-blog.csdn.net/20181016180103259?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODkyMDI4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)

etc/hadoop/yarn-site.xml:

yarn.nodemanager.aux-services mapreduce_shuffle Start ResourceManager daemon and NodeManager daemon: $ sbin/start-yarn.sh

大数据入门二(YARN部署)_第3张图片
open web: http://47.75.249.8:8088/

大数据入门二(YARN部署)_第4张图片

你可能感兴趣的:(大数据入门二(YARN部署))