yarn web管理界面

原生Hadoop安装完Yarn后,可以在浏览器中通过http://master:8088来访问Yarn的WEB UI,HDP支持Ambari控制台访问。如下图:
yarn web管理界面_第1张图片
yarn web管理界面_第2张图片

一、集群指标区域

yarn web管理界面_第3张图片

包含如下内容:

Apps Submitted:提交的任务数目

Apps Pending:挂起的任务数目

Apps Running:运行的任务数目

Apps Completed:完成的任务数目

Containers Running:正在运行的container数目

Memory/VCores used:使用了整体集群的内存/虚拟核总量

Memory/Vcores Total:集群内存/虚拟核总量

Memory/Vcores Reserved:当前集群保留的内存/虚拟核,reserve的原因,是因为container由调度器分配了资源到某个节点上,但是这个节点,已经没有资源了。此时该container会进入reserve状态。

Active Nodes:活动的节点

Decommissioned Nodes :退服的节点

Lost Nodes:丢失的节点

Unhealthy Nodes:不健康的节点

Rebooted Nodes:重启的节点

节点下面的数字是一个超链接,点击可以查看具体的节点信息。

二、导航栏

1.Nodes

点击Nodes 查看集群内所有安装NodeManager的数据节点状态
yarn web管理界面_第4张图片
对上面标序号的7个字段信息进行解释:

1.Active Nodes: 表示Yarn集群管理的节点的个数,其实就是NodeManager的个数,我们集群有2个NodeManager
2. Memory Total:表示Yarn集群管理的内存的总大小,这个内存总大小等于所有的NodeManager管理的内存之和,每一个NodeManager管理的内存大小通过yarn-site.xml中的如下配置进行配置的:

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1630</value>
	<description>表示这个NodeManager管理的内存大小</description>
</property>

从配置中可以看到每一个NodeManager管理的内存大小是1630MB,那么整个Yarn集群管理的内存总大小就是1630MB * 2 = 3260MB约等于3.18GB,也就是我们看到的Memory Total
3.Vcores Total: 表示Yarn集群管理的cpu的虚拟核心的总数,这个大小等于所有的NodeManager管理的虚拟核心之和,每一个NodeManager管理的虚拟核心数是通过yarn-site.xml中的如下配置进行配置的

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
    <description>表示这个NodeManager管理的虚拟核心个数</description>
</property>

从配置中可以看到每一个NodeManager管理的虚拟核心数是2,那么整个Yarn集群管理的虚拟核心的总数就是2 * 2 = 4,也就是我们看到的Vcores Total
4.Scheduler Type:表示资源分配的类型,也就是我Hadoop-yarn安装文章中说到的三中资源调度
5.Minimum Allocation:最小分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn至少会分配这个资源给这个任务,这个分配的最小内存和最小核心数可以分别由配置yarn.scheduler.minimum-allocation-mb(默认值是1024MB)和yarn.scheduler.minimum-allocation-vcores(默认值是1)来控制
6.Maximum Allocation:最大分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn最多会分配这个资源给这个任务,这个分配的最大内存和最多核心数可以分别由配置yarn.scheduler.maximum-allocation-mb(默认值是8192MB)和yarn.scheduler.maximum-allocation-vcores(默认值是32)来控制,当然这两个值肯定不能比集群管理的资源还要多
yarn web管理界面_第5张图片
上面是Yarn集群管理的两个NodeManager的状态信息,分别如下:
1.Rack:表示NodeManager所在的机器所在的机架
2.Node State:表示NodeManager的状态
3.Mem Used:表示每个NodeManager已经使用了的内存大小。Mem Avail:表示每个NodeManager还剩多少可以使用的内存大小。VCores Used:表示每个NodeManager已经使用了的VCores数量。VCores Avail:表示每个NodeManager还剩多少可以使用的VCores数量。

点击一个Node Address
yarn web管理界面_第6张图片
进入到如下的界面:
yarn web管理界面_第7张图片
这个界面上的信息是slave2上的NodeManager的详细信息,其中,Total Vmem allocated for Containers表示这个NodeManager管理的虚拟内存的大小,虚拟内存大小由yarn-site.xml中的配置来设置的:

<property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4.1</value>
        <description>表示这个NodeManager管理的虚拟内存和物理内存大小的比例</description>
</property>

上面配置yarn.nodemanager.vmem-pmem-ratio就是虚拟内存和物理内存大小的比例为4.1,也就是说虚拟内存的大小是物理内存大小的4.1倍,所以虚拟内存大小是1630MB * 4.1 = 6683MB,约等于6.53GB

2. Applications

Applications 点击查看所有yarn记录的任务信息。下方的树形是过滤条件,根据任务的state字段进行过滤。
yarn web管理界面_第8张图片

3.Scheduler

点击查看当前集群调度器的指标信息。内容较多,后面详述
yarn web管理界面_第9张图片

你可能感兴趣的:(Hadoop生态圈,大数据开发)