hadoop基础-Yarn的基本配置-详细过程

一、预备知识：

1、yarn的角色及其在系统栈中的位置

2、角色和交互

1. Client 向ResourceManager(RM)提交作业，RM为该作业启动 AppMaster。在作业执行过程中，Client也可以通过RM结束作业。

2. AppMaster(ApplicationMaster)向ResourceManager申请作业需要的计算资源(一组容器)，计算任务结束后向RM登记释放容器的资源。

3. NodeManager向ResourceManager汇报节点状态，领取待执行的任务。

3、集群的节点配置：

二、yarn的基本配置：

1、在配置yarn时需要先配置好hdfs

这是本博主的hdfs的安装配置

(14条消息) hadoop基础hdfs集群的安装配置_古柯(●—●)的博客-CSDN博客

2、和HDFS的安装配置一样，先配置好主节点，然后将配置文件远程拷贝到每个从节点。此处重点关注两个配置文件。

图1-3Yarn相关配置文件和脚本

   图1-3中红色部分代表与Yarn相关的配置文件和执行脚本。与资源管理和分配相关的参数在yarn-site.xml中配置，与MapReduce编程模型相关的参数配置在mapred-site.xml中。start-yarn.sh和stop-yarn.sh分别代表启动和停止Yarn。

3、 配置mapred-site.xml

       mapreduce.framework.name

       yarn

  

/*该配置项表示使用Yarn框架来管理MapReduce程序*/

4、配置yarn-site.xml

    关于Yarn的基本配置项有六个参数，表1-1描述了这些参数的名字和对应的物理意义。

表1-1基本参数配置项及其意义

序号	参数名	物理意义
1	yarn.nodemanager.aux-services	NodeManager上运行的附属服务，配置成mapreduce_shuffle才可以跑MapReduce程序
2	yarn.resourcemanager.address	RM暴露给客户端的地址，用于提交进程、结束进程
3	yarn.resourcemanager.scheduler.address	RM暴露给AppMaster的地址，用于申请、释放资源
4	yarn.resourcemanager.resource-tracker.address	RM暴露给NodeManager的地址，汇报心跳、领取任务
5	yarn.nodemanager.memory-mb	NodeManager所在节点(可分配给Yarn的)最大可使用内存
6	yarn.nodemanager.cpu-vcores	NodeManager所在节点(可分配给Yarn的)最大可使用CPU核心数

-----yarn-site.xml 具体配置内容如下----

        yarn.nodemanager.aux-services

        mapreduce_shuffle

  

 

       yarn.resourcemanager.address

        westgisB090:8032





yarn.resourcemanager.scheduler.address

        westgisB090:8030

  

 

        yarn.resourcemanager.resource-tracker.address

        westgisB090:8031

  

  

 

        yarn.resourcemanager.resource-tracker.address

        westgisB090:8031

  



        yarn.nodemanager.memory-mb

        8GB





        yarn.nodemanager.cpu-vcores

        4

---yarn-site.xml 具体配置内容------

/*此处westgis101为ResourceManager所在节点的机器名*/

/*最后两个配置参数要考虑其它守护进程也需要CPU和内存，不能100%都给Yarn*/

5、集群的操作和查看

5.1、启动集群

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-yarn.sh

5.2、查看集群

HDFS

http://10.103.105.90:50070

/*westgis101为NameNode所在节点的机器名*/

YARN

http://10.103.105.90:8088

/*westgis101为ResourceManager所在节点的机器名*/

5.3、 停止集群

$HADOOP_HOME/sbin/stop-yarn.sh

$HADOOP_HOME/sbin/stop-dfs.sh