Hadoop_YARN 中 resourceManager / nodeManager / container log 存放日志位置

 

我们在使用 CDH 做集群管理的时候，非常的方便。下面，详细了解下主要几个节点的日志位置。

1.ResourceManager log

2.NodeManager log

3.Container log

 

ResourceManager log

ResourceManager log 位置相关参数是 hadoop.log.dir

这里是 /var/log/hadoop-yarn

进目录看一下

[root@cdh-node2 hadoop-yarn]# pwd
/var/log/hadoop-yarn
[root@cdh-node2 hadoop-yarn]# ll
total 12296
-rw-r--r-- 1 yarn yarn   12118884 May 26 23:50 hadoop-cmf-yarn-NODEMANAGER-cdh-node2.log.out
-rw-r--r-- 1 yarn yarn     465282 May 26 21:07 SecurityAuth-yarn.audit
drwxr-xr-x 2 yarn hadoop        6 Jan 22  2019 stacks

 

NodeManager log

NodeManager log  通过 hadoop.log.dir 参数进行指定的

这里是 /var/log/hadoop-yarn

进目录看一下 ：

[root@cdh-manager hadoop-yarn]# pwd
/var/log/hadoop-yarn
[root@cdh-manager hadoop-yarn]# ll
total 506660
-rw-r--r-- 1 yarn yarn    55970737 May 26 23:56 hadoop-cmf-yarn-RESOURCEMANAGER-cdh-manager.log.out
-rw-r--r-- 1 yarn yarn   209715256 Apr 22 20:33 hadoop-cmf-yarn-RESOURCEMANAGER-cdh-manager.log.out.1
-rw-r--r-- 1 yarn yarn   252637795 May 26 23:56 SecurityAuth-yarn.audit
drwxr-xr-x 2 yarn hadoop         6 Jan 22  2019 stacks

 

 

Container 日志存放的位置

这个是通过 yarn.nodemanager.log-dirs  参数进行指定的

这里是  /yarn/container-logs

 

先进入YARN相关的页面

 

 

结合 YARN  中的 Application 界面

可以看到有3个容器。

日志就存放在 对应 node 的  yarn.nodemanager.log-dirs  磁盘目录下

http://cdh-node2:8042

看下cdh-node2 节点上 容器的日志 ：

[root@cdh-node2 application_1590484836237_0005]# pwd
/yarn/container-logs/application_1590484836237_0005
[root@cdh-node2 application_1590484836237_0005]# ll
total 0
drwx--x--- 2 yarn yarn 114 May 26 21:02 container_1590484836237_0005_01_000001
drwx--x--- 2 yarn yarn 117 May 26 21:07 container_1590484836237_0005_01_000003

 可以看到 对应路径上有页面所对应的两个容器的日志 

[root@cdh-node2 application_1590484836237_0005]# cd container_1590484836237_0005_01_000001
[root@cdh-node2 container_1590484836237_0005_01_000001]# ll
total 68
-rw-r--r-- 1 yarn yarn   539 May 26 21:02 jobmanager.err
-rw-r--r-- 1 yarn yarn 60238 May 26 21:07 jobmanager.log
-rw-r--r-- 1 yarn yarn     0 May 26 21:02 jobmanager.out
-rw-r--r-- 1 yarn yarn     0 May 26 21:02 prelaunch.err
-rw-r--r-- 1 yarn yarn    70 May 26 21:02 prelaunch.out

容器 container_1590484836237_0005_01_000001 是 flink 中的 jobmangaer 可以看到相对应的日志