Hadoop--分布式调度平台YARN--YARN集群搭建

Yarn是Hadoop提供的自动化调度平台，可以实现MapReduce计算任务的自动化调度。

yarn是一个分布式程序的运行调度平台。

yarn中有两大核心角色：

Resource Manager

接受用户提交的分布式计算程序，并为其划分资源

管理、监控各个Node Manager上的资源情况，以便于均衡负载

Node Manager

管理它所在机器的运算资源（cpu + 内存）

负责接受Resource Manager分配的任务，创建容器、回收资源

Yarn集群角色分为两种ResourceManager以及多台NodeManager,ResourceManager负责资源分配计算，NodeManager负责具体的任务执行。在此搭建Yarn集群，其中hadoop-01作为ResourceManager以及NodeManager,hadoop-02作为NodeManager

                            

hadoop-01以及hadoop-02分别准备hadoop安装包，目录位于/etc/hadoop-2.8.5。

配置yarn-site.xml文件：/home/hadoop-2.8.5/etc/hadoop

具体的配置参数可以参考

http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

yarn.resourcemanager.hostname
hadoop-01



yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.nodemanager.resource.memory-mb
2048



yarn.nodemanager.resource.cpu-vcores
2

主要配置ResourceManager的IP,NodeManager在进行资源调度时分配调度容器最小资源单位内存以及CPU核数。

home/hadoop-2.8.5/sbin/start-yarn.sh启动yarn集群

访问yarn的web页面：http://hadoop-01:8088/