Hadoop自带Web管理监控功能

        H adoop 的 W eb 管理主要分为两块，一块是对文件系统的监控，一块是对任务的监控。

 

文件系统监控：

 

       浏览文件系统；

       namenode 的日志列表以及查看日志；

       集群的概况，包括配置容量、 DFS 占用容量、非 DFS 占用容量、 DFS 的可使用容量、 DFS 已使用百分比、 DFS 可使用百分比、活结点数、死节点数、 namenode 的存储目录及类型和状态；

       点击活节点或者死节点数可以看到所有对应节点的类表，以及他们的节点名称， Last Contact 的值（ Last Contact 的意思是表明 DataNode 有多少秒时间未向 NameNode 发送心跳包了），管理状态，配置容量，已使用容量，非 DFS 使用容量，剩余容量，已使用百分比，已使用的进度条，剩余百分比，块数。

 

任务监控：

 

       集群摘要信息（堆的大小，所占的比例）， Map 任务数， Reduce 任务数，共有意见书，节点数量， Map 任务能力， Reduce 任务能力，平均任务和节点（这点我不明白什么意思，原文： Avg. Task/Node ），列入黑名单的节点；

       调度信息：队列名称，调度信息；

       过滤查询：可根据 Jobid ，优先级，用户名等信息查询任务；

       可以查看正在运行，已经完成或者执行失败的 Job 的信息：状态，完成所需时间，该 Job 的 map 和 reduce 信息：完成进度，总任务数，待完成任务数，正在执行的，已完成的，死掉的，失败的和死掉的个数比（按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比）；

       还有各种数据的统计包括 Job 、 FileSystem 、 Map-Reduce Framework ，统计具体小点太多，并且有一些统计功能我不是很了解，比较模糊，还是上图，如下：