(4)Hadoop YARN 的 历史查看

(4)Hadoop YARN 的 历史查看_第1张图片

(1)开启YARN的历史查看功能

    sbin/mr-jobhistory-daemon.sh start historyserver   

    用jps查看 多了一个JobHistoryServer

    启动之后点击History就能查看了

(2)Aggregation  日志的聚集功能 (将应用运行完成后的日志信息 上传到hdfs文件系统上)

   在yarn-site.xml中添加属性:



    yarn.log-aggregation-enable
    true



    yarn.log-aggregation.retain-seconds
    640800

重启YARN和  YARN的历史查看功能

1)停止resourcemanager: sbin/yarn-daemon.sh stop resourcemanager

2)停止nodemanager:sbin/yarn-daemon.sh stop nodemanager

3)停止historyserver  : sbin/mr-jobhistory-daemon.sh stop historyserver

4)jps查看 已经没有这几个进程 

5)再启动

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh  start historyserver

6)重新运行一个任务 上边配置的日志聚集功能就生效了

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/wordcount/output2

output已经存在 所以这里用的是output2

7)运行完成之后  日志聚集功能已经将本地日志同步到hsfs上了  比如按照下边步骤查看一个日志文件::

a.

(4)Hadoop YARN 的 历史查看_第2张图片

b.

(4)Hadoop YARN 的 历史查看_第3张图片

c.

(4)Hadoop YARN 的 历史查看_第4张图片

d.(4)Hadoop YARN 的 历史查看_第5张图片


你可能感兴趣的:(hadoop)